手話動作の動画撮影のもよう

　手話のスマートフォンによる自動翻訳を最終目標に進めています。要するに、機械学習ですね。学習のためには、そのためのデータが必要になります。また、学習の性能を評価するためのデータも必要となります。皆さんが、教材で学習し、試験で性能？を評価されるのと同じようなものです。より高い学習性能を得るためには、たくさん学習しなければなりませんね。もちろん、過学習という問題もありますが・・・（英語では、Over fittingというので、ちょっとニュアンスが違いますね）。小生も過学習と言われたいものです。前置きが長くなりました。

　さて、今日は共同で検討を進めている株式会社ケイ・シー・シー（リンク）から小林さんに来ていただき、小林さんの指導、監督の下で、手話動画を撮影しました。そのもようです。小林さんは、手話学習者向けの動画辞典SmartDeaf（リンク）を担当されるとともに東京都聴覚障害者連盟理事、ろう者協会手話講師でもあります。

私が９時前に来たときには、すでに小澤君と岡安さんが最終確認をしていました。前々日、前日も含め、事前準備をしっかりやっていました。このような姿勢がなによりも重要ですね。

小林さんと手順を確認中？。遠方（都内です）より来ていただいているので、時間を無駄にしないように。事前準備だけではなく、当日の手順も重要です。

まずは、小林さんがモデルとなって撮影を開始します。今回は、メディア学科の西村研からも多くの学生の協力をもらいました。

 

今回から２名同時に動画を撮影しました。もちろん、パソコンとカメラは２台ずつです。データ取得時間は短くなります。取得データの確認があるので、単純に1/2にはなりませんが、かなりの効果はあるはずです。

まさに動画データ取得前の様子です。小林さんが中央で、動きを確認します。その両側の学生君は、動画データ取得のための操作員です。

取得後の動画を確認中。データの信頼性確保のためには、この手順も重要です。時間短縮のために何かを犠牲にすることは許されません。

こちらは、小林さんから指導を受けている様子。難しいものもあるようです。確かに、ふだんの生活でそのような動きをすることはありませんね。

 

　このような地道な努力が、快挙につながっています（リンク、リンク）。

今回は、健康・医療カテゴリーに含まれる単語９１種のうち、まだ取得できていない右手のみの動作の残りと、両手を使った手話動作の一部の動画データ取得です。明日(今日)も撮影、取得を行います。そんなに時間がかかるのかって？　そうなんです。それなり人数の人たちからデータを取らないと学習できません。

 

認識処理という理論だけではなく、このようなデータ採取が重要で大きな位置を占めています。逆に、この点が我々の優位性とも言えるかと思います。地道に、手法の検討とデータベースと言うかコーパスの構築を継続していきたいものです。

 

PS)

岩本部長、ご協力をいただきありがとうございます。今回も順調にデータ取得が進んでいます。ブログ上で恐縮ですが、お礼を言わせてください。小林さんの指導と支援があってこその信頼あるデータの取得です。