スマホ操作、立体キャラを触って入力−東大が着せ替えカバー型デバイス（動画あり）

• 

  顔面フィギュアのほっぺを摘まんで、嫌な顔文字を入力するイメージ（東大提供）

東京大学大学院情報理工学系研究科の渡辺義浩講師と石川正俊教授らは、スマートフォンに取り付けたキャラクターを摘まんだり、引っ張ったりして入力操作するスマホケース「センスケース」を開発した。スマホのカメラでキャラクターの変形を計測する。「ほっぺを摘まむ」「握手する」などスマホを擬人化しながら操作できる。スマホ周辺機器メーカーやアプリケーションソフト開発会社に提案。２―３年での実用化を目指す。

スマホのケースを自分の好みに着せ替えるように、スマホをキャラクター化し、操作方法も自分の好みに変更できるようにする。スマホケースにぬいぐるみや人の顔などの人形をつけ、人形に触ることでスマホを操作する。

例えば電話に出るときは顔の口をとがらせ、電話を断るときは耳をふさぐなど、ユニークな操作ができる。

スマホ人形の変形はカメラで計測する。人形の内側に透明ゲルと黒色ゲルを混合し、マーブル模様のパターンを作る。人形を動かすとパターンも変形するため、パターンと人形の動きの対応を機械学習で識別する。クマの人形では「耳を摘まむ」「頭を倒す」など、顔面では「顎を押す」「ほっぺを摘まむ」「額を押す」などを識別できた。識別精度は９５―９８％だった。

機械学習で識別するため人形の形を自由に設計でき、操作方法も好きに登録できる。人形は真空注型で製造でき量産に向く。３Ｄ樹脂プリンターで作製すれば、ユーザーごとに一点物ができる。現在は人形がカメラの上にある必要があるが、スマホ全体を覆うケースで入力できるよう開発を進める。