映画・ゲームの「足音」リアルに−和歌山大、歩行データから自動合成

• 

  両足のくるぶしにセンサーなどをつけて収録（和歌山大提供）

和歌山大学大学院システム工学研究科の西村竜一助教と入野俊夫教授らは、歩行データから足音を自動で合成するシステムを開発した。畳の上を歩く際の足の動きなどと足音を収録し、データを機械学習することにより、動きから予測される足音をつくる。人の動きを取り込んで映像に反映する「モーションキャプチャー」のデータから足音を生成できるようになる。映画やゲームなど、より臨場感のある効果音合成に提案していく。

両足のくるぶしに加速度センサーとジャイロセンサー、かかとの下に圧力センサーを付けて畳の上を歩いて足音を収録した。センサーはそれぞれ毎秒６０回計測し、足音は指向性マイクで４８キロヘルツで収録した。

このデータを、人間の脳の神経回路構造を模倣したニューラルネットワーク式の機械学習にかけ、足音予測システムを開発した。足が接地する前の動きも学習するため、足の出し方など歩き方に応じた足音合成ができる。予測精度は大まかな波形が一致し、人間の耳には実際の足音よりも少し大きく聞こえる。

映画などではＣＧキャラクターの動きを実際に俳優が演じ、モーションキャプチャーで計測して動きをＣＧに合成している。このデータを基に、足音も合成できるようになるという。今後、歩く環境の種類を増やすほか、合成足音をベースにサウンドクリエーターが演出しやすいよう技術を積み上げていく。