2017年9月23日土曜日

手話動作の動画撮影のもよう

 手話のスマートフォンによる自動翻訳を最終目標に進めています。要するに、機械学習ですね。学習のためには、そのためのデータが必要になります。また、学習の性能を評価するためのデータも必要となります。皆さんが、教材で学習し、試験で性能?を評価されるのと同じようなものです。より高い学習性能を得るためには、たくさん学習しなければなりませんね。もちろん、過学習という問題もありますが・・・(英語では、Over fittingというので、ちょっとニュアンスが違いますね)。小生も過学習と言われたいものです。前置きが長くなりました。

 さて、今日は共同で検討を進めている株式会社ケイ・シー・シー(リンク)から小林さんに来ていただき、小林さんの指導、監督の下で、手話動画を撮影しました。そのもようです。小林さんは、手話学習者向けの動画辞典SmartDeafリンク)を担当されるとともに東京都聴覚障害者連盟理事、ろう者協会手話講師でもあります。


私が9時前に来たときには、すでに小澤君と岡安さんが最終確認をしていました。前々日、前日も含め、事前準備をしっかりやっていました。このような姿勢がなによりも重要ですね。


小林さんと手順を確認中?。遠方(都内です)より来ていただいているので、時間を無駄にしないように。事前準備だけではなく、当日の手順も重要です。

まずは、小林さんがモデルとなって撮影を開始します。今回は、メディア学科の西村研からも多くの学生の協力をもらいました。

 
今回から2名同時に動画を撮影しました。もちろん、パソコンとカメラは2台ずつです。データ取得時間は短くなります。取得データの確認があるので、単純に1/2にはなりませんが、かなりの効果はあるはずです。


まさに動画データ取得前の様子です。小林さんが中央で、動きを確認します。その両側の学生君は、動画データ取得のための操作員です。


取得後の動画を確認中。データの信頼性確保のためには、この手順も重要です。時間短縮のために何かを犠牲にすることは許されません。






こちらは、小林さんから指導を受けている様子。難しいものもあるようです。確かに、ふだんの生活でそのような動きをすることはありませんね。
 
 このような地道な努力が、快挙につながっています(リンクリンク)。


今回は、健康・医療カテゴリーに含まれる単語91種のうち、まだ取得できていない右手のみの動作の残りと、両手を使った手話動作の一部の動画データ取得です。明日(今日)も撮影、取得を行います。そんなに時間がかかるのかって? そうなんです。それなり人数の人たちからデータを取らないと学習できません。
 
認識処理という理論だけではなく、このようなデータ採取が重要で大きな位置を占めています。逆に、この点が我々の優位性とも言えるかと思います。地道に、手法の検討とデータベースと言うかコーパスの構築を継続していきたいものです。


 
PS)
岩本部長、ご協力をいただきありがとうございます。今回も順調にデータ取得が進んでいます。ブログ上で恐縮ですが、お礼を言わせてください。小林さんの指導と支援があってこその信頼あるデータの取得です。

 

0 件のコメント:

コメントを投稿