| 超音波映像中の舌の位置関係 |
|
|
発話中の運動している舌の表面を超音波映像から読み取るのが難しい場合があります。これは、超音波映像が本来舌を見るものであり、反対側（硬口蓋や軟口蓋、歯など）の表面を見るものではないためです。このプロジェクトでは、モーションキャプチャーのデータを元にCTスキャンやビデオカメラの映像を組み合わせることで、超音波映像における舌の位置関係を明らかにしていきます。
|
|
|
| 論文 |
| ・CTと超音波、モーションキャプチャーデータを利用した口蓋断面映像の作成 |
|
この論文は、Speech Accent Archiveから英語の例文を引用し、映像データ作成を説明したものです。この映像は、舌の超音波画像と口蓋のCT画像、そして、頭蓋骨と顎の動きのViconモーションキャプチャーデータを合成することによって成り立っています。今回作成された映像データは、データ採取に成功した口蓋のすべての部分の動きを示しています。そして、これは超音波機器に表示される舌の周りの状況を理解を促進させると考えられます。例えば、被験者が[t]音を発音しているときに、超音波画像の舌の表面の線は、CTデータから利用した歯茎の裏にしっかりとくっついています。このように舌の動きとその環境を認識することによって、英語を第二言語とする発音の学習者に役立てられます。そして、今回用意した３種のデータ（超音波画像のみ、超音波画像＋CT画像、超音波画像＋CT＋顔の側面画像）のうち、どれがもっとも有効的かを研究する予定です。
|
|
|
| ムービー |
| ・発音評価と訓練のための対話型GUIのデザイン |
|
私たちの研究室では現在、発音評価と訓練のための新しいシステムを開発しています。既存の発音訓練用ソフトウェアの多くは、発音を単なる音響信号として捉え、評価やアドバイスも、波形やピッチといった音響上の観点によるものがほとんどでした。しかし、それらの情報と実際の口の中の動きをリンクさせることは難しく、なかなか活かせないのが実情でした。そこで私たちは、それらの情報に加え、超音波やビデオカメラからの映像をシステムに盛り込むことで、実際の舌や唇の動き、口の開き具合等がイメージしやすくなるのではないかと考えました。実際に試作したシステムを本大学の英語の講義でテストしたところ、多くの学生から好評価を得ました。こちらでは、システム内で使用している映像をいくつか紹介しています。
|
|
|
|
|
|
３つの映像の合成＋口蓋の輪郭（黄色） |
| ビデオカメラによる映像（正面） |
|
|
| ビデオカメラによる映像（側面） |
|
|
| 超音波映像（側面） |
|
|
