東芝未来科学館にて研究展示します

JR川崎駅近くにある東芝未来科学館（サイトはこちら）では，12月20日(火)から1月9日(月)まで，『おとづくりの森〜カラダできく×つたえる音〜』というタイトルでイベントを開催しています（ただし，12月29日(木)から1月4日(水)は休館のようです）．「きく」ことや「音」をテーマにしたイベントとなっています．

そして今回，このイベントの１つのコーナーで，研究内容を紹介させてもらえることになりました．宮崎が取り組んでいる機械読唇の研究について，紹介しています．
機械読唇は，コンピュータを使って読唇術を実現することで，つまり『口の動きから音をきく』ということになり，今回のイベントのテーマに合っているということでお誘いをいただきました．

展示するにあたって，事前に東芝未来科学館を見学に行きました．平日だったのですが，多くの子どもが来ていて，とても楽しんでいる様子でした．名前の通り，「科学」に関する展示が多いのですが，体を動かして遊びながら体験できるような内容になっているので，小学生でも科学を楽しめるような展示となっていました．

普段は，講義でも研究発表でも，技術的な内容を中心に話していますが，その内容をそのまま展示しても見学に来た人はだれも面白くないでしょう．学生にはいつも言っているのですが，話は聞いている人の技術レベル，知識レベルに合わせた内容にしないといけません．今回は，小学校高学年以上が対象ということでしたので，大変苦労しました．専門的な用語もなるべく平易な言葉に置き換えながら，アニメーションやイラストも使って展示内容を作っていったつもりです．

ただ，諸事情により，今回の展示は体験ではなく，研究内容を紹介する映像を流すのみとなりました．内容も，小学生にはちょっと難しくなってしまったかも知れませんが，雰囲気だけでも分かってもらえると嬉しいです．
展示の映像では，コンピュータ読唇術（映像中では機械読唇ではなく，コンピュータ読唇術と表現）はどういうものか，日本語の口形の特徴や音との関係，使用する機器，読唇術の原理や処理の流れ，話した言葉の認識方法等について解説しています．映像の中では，童謡を歌う映像からフレーズを判別する例を示していますので，映像を見ながら何の歌を歌っているか考えてみてください．

以下に映像の一部をお見せします．残りは，実際に東芝未来科学館へお出掛けになり，ご覧ください．また，他の展示も大変興味深い内容ですので，見て，体験して楽しめると思います．入場は無料です．

導入部分で日本語の音と口形の関係を紹介しています

コンピュータ読唇術の流れを，童謡を例に紹介していきます

カメラから発話の映像をコンピュータに取り込みます

計測したデータから童謡のフレーズの確率を計算します

このようなシーンで使われるようになることを期待して研究しています

最後になりましたが，今回，当方の研究に興味を持ってくださり，研究を紹介する機会を与えてくださった東芝未来科学館の皆様に感謝いたします．