手話動画コーパスの作成途中

本研究のリーダを務めている修士2年の柴田君に報告してもらいました。

++++++++++++

1/18(水)に手話認識の研究で用いる手話の撮影を行いました。

今回は5/11(リンク)、8/25(リンク)に次いで３回目の撮影となります。

撮影はこれまで同様に、株式会社ケイ・シー・シーの小林様に監修していただきました。

お忙しい中撮影にご協力いただき、誠にありがとうございました。

今回は撮影データ数の関係から、9:30からの撮影となりました。被験者第一号の橋口君には9:00に来てもらい、手話動作の確認を行ってもらいました。テスト期間前にも関わらず、快く撮影に協力して頂けて大変助かりました。他研究室でも被験者を募ってデータを収集する研究を行っている方がいるかと思いますが、信頼のある学生を複数人集めるのは意外と大変です。よって、普段から他の研究室とつながりを持っておくことも必要ではないかと考えます。

今回撮影した手話データは以下です。表内の数値は何サンプル撮影するかという値です。

今まで撮影した動画と合わせると以下のようになります。

ご覧のとおり全ての単語&手話者ごとに30サンプルずつデータを収集できています。

私の研究では手話の認識手法として、隠れマルコフモデルという機械学習手法を用いていますが、その学習には最低30サンプルずつ必要だと分かっています。今回の結果から、全てのデータを学習として利用することが可能になりました。

過去二回の撮影と合わせて、ようやくここまでデータを収集することができました。しかし、現在撮影を進めている医療と健康のカテゴリには91種の単語が存在し、今のところ25種までしか撮影できていません。私は今年度で卒業するため、来年度この研究のリーダーになる小澤君が撮影を引き継いでくれます。

また今回の撮影には、来年度手話の研究に参加する3年生にも見学してもらいました。この手話の研究は、良い結果が出なかったり、やったことが裏目に出たりすることがとても多いです。大変だと思いますが、メンバー間で協力して頑張ってほしいです。

p.s.

撮影が順調に進行し予定より早く終了したため、大学施設へ小林さんを案内しました。球場や新体育館、KAIT工房など本大学には美しい施設がいくつもあるので、案内し甲斐があります。

 

ちょうど新体育館を案内したところ、学生課の安藤さんとお会いしたので、写真を撮らせていただきました。大学内にオリンピックの銀メダリストがいる（リンク）、と紹介すれば誰しも驚くと思います。お客様がいらっしゃったら、皆様も紹介するべきではないでしょうか。

++++++
　無事、データの採取はできたようです。これを用いて、専門用語でいうところの交差確認法を適用します。要するに、すべてのデータを機械学習用、認識性能の評価用として使用し、それらの結果にばらつきがないことを確認します。ばらつきが出たらどうするのって？、そのときはそのときですね。まぁ、もう１回データ数を増やして学習しなおす、ということでしょうか？　この辺は、一緒にやっている専門の先生の意見を聞きます。なんだか、人間の勉強と同じですね。早く９１種類の手話に対して８０％程度の認識率を確保したいものです。それが当面の目標です。何も考えない場合、認識率は１％程度なので、その難しさ？は何となくご理解いただけると思います。
　今はやりのDeep Learningをやればいいのでは？との質問はありますね。そのためには、膨大な数の学習データが必要で、現状ではちょっと現実的ではないかもしれません。当面は、現在の手法や従来の手法を組み合わせた検討を進めていく予定です。