手話動画コーパスの作成を進めています

　手話認識の研究を進めています。音声認識は広く普及していますが、動作認識や手話の認識は、まだまだ研究レベルで実用レベルには到達していないようです。一つには、認識技術検討のためのデータベースが十分にできていないことが挙げられると思います。

　展示会CEATECで知遇を得た、ケイ・シー・シーさん(リンク)の協力を得て、 手話学習者向けスマートデバイス動画辞典であるSmartDeaf（リンク）の作成を担当されている小林さんに研究室に来所してもらって、手話動画のコーパス（要するに、データベース化って言っていいものかと）作成に協力いただいています。今日は、その1日目でした。

 

 まずは、小林さんの手話の撮影。この日のために、ゴールデンウィーク中にも柴田君と小澤君は準備とリハーサルをしていました。当日問題が発生して、予定通りにできないことは、小林さんにも大きな迷惑をかけることになりますね。

本学学生の手話動画取得には、小林さんのチェックを受けます。動きが不十分な手話は、コーパスとして資することはできません。やり直しも頻繁にありました。

頭の上まで手が動くものがあります。カメラの視野の確認は当然として、明るさの調整などにも十分配慮して、データ取得をしています。

これは、取得した動画データを改めて確認しているシーンです。この段階で、問題があって再取得したデータもありました。2重チェックを行った甲斐があったっちゅーもんです。

 

これは、小林さんが問題個所を具体的に指摘しているシーンです。筆談でやっています。もちろん、ホワイトボード上でのやりとりも併用しています。

当面は、小林さん監修の手話動画コーパスの充実と並行して、手話学習者がSmartDeafの動画で学んだ手話動作を再現したら、その動きを確実にPCが解釈できるようにすることを目標に進めています。単なる動きの認識という観点ではなく、手の位置や手の形など総合的に判断していく必要があります。認識手法もさまざまな方法があります。現在話題となっているDeep Learningなども将来的には取り込んでいくことも視野に入れる必要があります。勉強は一生ついてまわります。つらいですね（^_^）。

小林さんは手話教室の講師などもされておられます。その経験から、データ取得とその監修というお願いに加えて、手話をコンピュータで認識させる、という観点からも多くの意見を頂けそうです。経験のない我々にとっては、有益な意見をもらえるように進めていくことも重要なポイントと思われます。当面は、動画コーパスの充実と基本的な認識手法の検討となります。長い道のりですが、マイルストーンを明確にして、確実に前進させていきたいと思っています。