このシステムは、石川奥研究室で開発された３次元空間内の対象を高速ビジョンと２枚のミラーによって遅延なくトラッキングする２台の「１ｍｓ Ａｕｔｏ Ｐａｎ／Ｔｉｌｔシステム」を用いて、動く対象に映像（ゲームやコンピュータの画面、動画等）をプロジェクションすると同時に、対象の３次元位置を２ｍｓ（ミリ秒）ごとに抽出することが可能なシステムと、篠田研究室で開発された超音波発振機アレイを用いた「非接触触覚ディスプレイ」により、対象の３次元位置に合わせて、特に手のひらの特定の位置に触覚刺激を呈示するシステムの２つを統合した新しいシステムです。今回、身のまわりにある紙や手のひらがコンピュータやスマホのディスプレイに変身し、しかも触覚刺激まで感じられるものを実現しました。いわばプロジェクションマッピング技術の動物体版かつ触覚提示版とみなすことができるものです。
開発したシステムは、高速画像処理の技術を用いることで、人間の認識能力をはるかに超えるスピードで環境に存在する手や対象物を認識し、遅延等の違和感なく情報の表示と入力に利用することを可能にするもので、たとえ動く物体であってもその物体をヒューマンインターフェイスの道具に用いることができることを示したものです。従来のコンピュータやスマホがものの中に知的機能を埋め込もうとしていたのに対して、既存の環境や物体そのものに情報を埋め込むものであり、今後の我々の情報環境を劇的に変える可能性を示唆するものと考えています。なお、本研究は、ＪＳＴ 戦略的創造研究推進事業 ＣＲＥＳＴの研究領域「共生社会に向けた人間調和型情報技術の構築」（総括 東倉 洋一 国立情報学研究所 名誉教授）の中の研究課題「高速センサー技術に基づく調和型ダイナミック情報環境の構築」（研究代表者 石川 正俊）の一環として行われたものです。