メディアが掲載してくれました

　本日20日の日経産業新聞で「手話　スマホで文字変換　　－神奈川工科大学　カメラで読み取りー」という見出しで本学科の取り組みが掲載されました。日経産業新聞は、日本経済新聞社（小生の購読紙。最近始まった小説が面白いですね。今後のストーリが楽しみです。）が発行している、産業・企業情報に特化したビジネス総合紙です。この新聞の１面のきょうのニュースの欄に「手話、文字に変換」という見出しと写真、そして10面の先端技術のページで内容が紹介されました。リンク（リンク）先の3つ目がそれです。

（写真を差し替えさせていただきました。ボカシは失礼、その他から判断しました。また、M2の菅谷君が出ています。飽きてきませんか？（笑））

　本件は、以前別の新聞で掲載していただいた内容（リンク）を発展させたものです。具体的には（ちょっと専門用語が入りますが）、静的な手指形状の認識から、動的な認識技術を取り入れて実際の手話の解釈へ適用するという研究の取り組みが掲載されました。

以下は、記者の方とのQ/Aです。記憶もいい加減になっていますが、今後の展示会での想定問答集にもなるということで・・・（いけませんね。ブログ記事を自分たちのために書くなんて）

Q)どのような人が使うのか？具体的な利用シーンは？

A)話すことが困難な人が手話が分からない人に対して、意志や考えを伝えたいときを想定しています。聴覚に障害がある方でも、手話ができる方は20%以下であり、特に後天的に障害を持たれた方は手話の修得が難しいと言われています。

Q)筆談と何が異なるのか？

A)筆談の場合は、1対1でしかも時間を要します。今回のものの最終形態は、手話動作をされている方にスマホを向けるだけで、スマホの画面上に手話の意味が出力される自動翻訳を目指しています。したがって、スムーズな意志伝達や複雑な内容でも短い時間でリアルタイムに伝えられると思います。また、計算機内での解釈なので、音声合成を用いれば、話すことと同じことができる可能性や多くの人に一斉に伝えることもできます

Q)他の類似方式との相違は？

A)他の方式は、専用の装置（KINECTなど）を用いる必要があります。本方式では、スマホ内蔵のカメラを使用するので、いつでもどこでもだれもが所持する装置で実現できるので、非常に便利なものになると思います。また、カラー手袋（あのMITでも用いています（手話ではなく））を用いていることから各指の識別が高精度に実現できるので、手話などの指の形や動きが多くの意味を持つものに対して、他方式よりも有効であると考えています。

Q)双方向でやりとりするようなシステムは検討していないのか？

A)現在は、上記でも述べたように手話動作の自動翻訳（手話動作→文字出力）を目指しています。文字→手話動作への変換という形では、NHKの研究所さんがアニメーションを用いた取り組みがあります。

Q)他への応用例は？

A)手話解釈による家電などの機器操作や、パソコンに接続したWEBカメラを用いてパソコンへの入力手段とすることなどが考えられます。

その他失念多数。

現在は、取り組みの開始、実現性の確認という状況です（手話検定5級の手話の自動翻訳を行っています）。手話解釈は古くて新しいテーマだと思います。スマートフォンのカメラ機能、CPUでの処理能力機能、クラウドサービスへの接続機能などを連携させることにより、従来では実現できなかったことが実現できるようになることは明らかです。課題はあまりにも多すぎて、絞り込むことだけでも難しいものがありますが、そこは頑張る学生に引っ張ってもらってやっていくつもりです。