2022年12月22日木曜日

手話動作データを取得しました

  今年初めての手話動作データ取得です。毎年同じ事やっているのではないです。実は同じことをやるだけでも結構なことです。研究室の学生は、大学院生以外は毎年入れ替わります。そういう意味で、同じことでも継続できない場合も多いです。院生の若尾君の力と去年の卒研生と3年生が真剣に引継ぎ作業を行ったおかげです。


今回のメンバーの集合写真。中央が手話指導をしてくださる株式会社ケイ・シー・シー(https://www.kcc.co.jp/)の小林さん。かなり長いお付き合いになりました。院生1名と4年生4年生です。写真の他に見習いの3年生2名がいます。何故写っていないんだ?とのご指摘はごもっとも。いろいろな事情があります。ご察しください。が、察するようなことではないです。念のため。

はじめに、小林さんの手話動作のデータを取得します。今回は短文手話8種、その文を構成する単語22種。それを5人、そして短文、単語をそれぞれ**サンプル取得します(**はノウハウなので言えません、というのは嘘で、単に私が覚えていないだけです)。なので、時間を当然要します。人工知能はまずはデータがあってです。AIと言えども決してスマートな領域だけではありません。

加速度センサのデータ取得を担当する栗原君、黒尾君を心配?している若尾君の図。本装置は総務省の委託を受けて、慶応大学等と本学(川喜田先生)が開発中の装置なので、現段階では装置の理解と一定の無線の技術知識が必要です。装置をお借りしています。ありがとうございます。

この日のために事前に手話動作を覚えてきた白藤君。もっとも左右逆に覚えてきたミスがあり。しかし、事前に準備していることはGREAT。普段の授業から想像できない、とは言い過ぎ?? 彼曰く、「迷惑をかける訳にはいきません。」立派です。

こちら側は、動画データを取得する担当、その他という感じ。取得の進行管理、取得画像のチェック側です。

 3日間にわたるデータ取得もあと1日残すまでです。何とかここまできました。(実は、いまさっき終了しました。)取得データを処理してAIの学習モデル作成の入力データにするのもひと手間かかります。取得後のことは、若尾君が差配してくれるでしょう。よろしく。

 しかし・・・。そうですね。改めて写真を見るとペットボトルが写っていたり、構図が不十分で学会のスライドとして使えそうなものがなかったです。被写体に問題がある、という訳ではなく。20日に改めてそれ用の撮影します。

 卒論締切を控える中で頑張っている彼らに拍手を送りたいと思います。もっとも、早くからやっておけばこんな記事にはならないはず・・・という正論が聞こえます(たぶん、空耳でしょう)。

PS

最終日の今日20日、若尾君が撮った写真がこれです。手話動作監督、手話動作者、画像取得者、加速度取得者がバランスよく撮れています。ティッシュの箱が余分ですが。

 センサが1種ではなく、複数のセンサを使用する方法は、マルチモーダル手法と呼ばれていますが、その手法を用いてより高精度、高信頼な手話動作の識別とその後の認識を目指しています。

0 件のコメント:

コメントを投稿