Imaginary Code

from kougaku-navi.net

TOKYO AR SHOWで伝えたかったこと

デジタルコンテンツエキスポ2011(DCEXPO)において,稲見昌彦先生,川田十夢さん(AR三兄弟)と共にTOKYO AR SHOWというステージイベントを行いました.会場は立ち見が出るほどの満員となりました.ご観覧いただいた皆さま,誠にありがとうございました.初めて白衣にそでを通したお仕事がこれだったんですが,良い思い出になりました(笑) 主に私のパートを中心に,補足を含めて,要所を振り返りたいと思います.

※写真を載せたいので,写真を撮った方はぜひ hashimoto [at] kougaku-navi.net までお送りください.

元祖ARは「ペッパーの幽霊」である

最初に稲見先生から,ARの元祖は「ペッパーの幽霊(Pepper's ghost)」であるというお話が出てきました.これはガラス板と照明を使ったトリックによって,演劇の舞台上に幽霊を映し出すというものです.1862年にイギリスでジョン・ペッパーによってこの仕掛けを用いた舞台劇が講演され,それ以降大流行しました.コンピュータがない時代にすでにARの原型とも言えるものがあったことが驚きですし,なにより当時の最先端の科学技術を使ったショーが大人気だったということは,DCEXPOにも通じるところがあります.また,同世代の科学者マイケルファラデーがクリスマスレクチャーとして一般向けに公演を行ったという話ともどこか繋がります*1


インタラクションとは力である

人とモノ,あるいは人と人のあいだで働く相互作用のことを「インタラクション」と呼びます.「インタラクション技術」と言った場合,その分野はかなり広範囲に及びます.インタフェース,拡張現実感,バーチャルリアリティ,ロボット,3D映像技術,音楽技術,ソーシャルメディア,ゲームなどなど,DCEXPOに出ていたものはおおよそインタラクションに関わる技術だったと言えます.

稲見先生は「インタラクションとは力である」という説明をされました.人やモノの間に働いている相互作用は見えない力である,と.私たちにとって身近な力は重力ですが,それは目には見えません.そればかりか,それが本当に存在しているかどうかもわかりません.「力」というものは,そこで起きている現象について説明できるよう定義された「概念」なのです.これは「インタラクション」についても同じことが言えます.

見えない“力”と言えば,フォース.というわけで,こんな動画が紹介されました*2

ダースベイダーになりきってフォースを使おうとする少年の姿がコミカルですが,この動画はいろいろと示唆的な要素を含んでいます.その1つとして,「因果関係」が挙げられます.後半,少年が車に向かってフォースを使い,見事それが「成功」するシーンがあります.実はパパがキーで遠隔操作していた,というオチなのですが,このとき少年はフォースの存在を実感できていました.つまり行動と結果の間にどんなプロセスがあろうとも,意図をもって行動しているときに,意図した結果が生じれば,そこに因果関係を見出すことができるのです.この因果関係を説明するものが,ここでは「フォース」なのです.もしかすると,私たちが重力と呼んでいるものも,私たちの知らない裏側でとんでもないプロセスによって働いているものなのかもしれませんね.

その後,「フォースを実現する方法としてAR技術がある」という話の流れから,現代のジョン・ペッパーとして私と川田さんが紹介されました.

フォースでラジコンヘリを操る

私とともに,助手(そしてパダワン)として登場したのは東京大学吉田成朗君(@shigeodayo)です.まずは,彼がフォースによってラジコンヘリ(AR.Drone)を操るというデモを見せてくれました.以下は当日朝4時のリハ風景の写真です.


Kinectを使って手のジェスチャを読み取り,AR.Droneに操縦信号を送っています.右手の動きが前後左右方向の移動に対応し,左手の動きが旋回動作,そして両腕の上げ下げで離陸・着陸を行うようになっています.このプログラムはすべてProcessingで書かれています.AR.DroneをProcessingで扱うためのライブラリを作ったのも実は彼です.今回のAR.DroneをKinectで操縦するプログラムも公開してくれるそうです.

これはどこがAR?

AR.Droneをフォースで操る実演後,稲見先生から「これは確かにフォースですが,これはどこがARなんですか?」との質問.まさに観客の気持ちを代弁したかのような一言ですが,私はこのように答えました.「ARというと,多くの人は実世界にCGを重ね合わせるようなのを想像されるかもしれないですが,それは人間へのInputの拡張なんです.ここでお見せしたのは人間からのOutputの拡張なんです」 この発言にキョトンとされた方もいらっしゃるかと思いますので,補足します.

私は,Augmented Reality(拡張現実感)はいずれAugmented Real(拡張現実)になるべきだと考えています.つまり,本当の意味で実世界を変えられるようなARを目指しています.例えば,「この部屋にぴったり収まる本棚がほしい」というときに,カメラ越しに見ている世界に自分が希望する本棚の絵を描くと,本当にその本棚が物理的存在として現れる,そんなAR.私はこのことを「絵に描いた餅が食える世界」と呼んでいます.これを実現するために,Inputを拡張して何かがあるように見せかけるだけではなく,その結果として実世界が物理的に変容できるようにOutputを拡張したいと考えています.デモでお見せしたAR.Droneの操縦の例は,Inputへの拡張の部分を特にやっていないため,皆さんが認識しているARとはちょっと距離感があったかもしれません.その辺を意識して,2つ目のデモではInputとOutputの両方を拡張するタイプのものをご紹介しました.

ロボットの幽霊

次のデモは,冒頭のペッパーの幽霊にあやかって「ロボットの幽霊」というデモをお見せしました.タッチスクリーン上に映ったロボットにタッチすると,ロボットが「幽体離脱」し,抜け出た自分の幽霊に追従するかたちでロボットが動きます.これは,私が開発したTouchMeという,ロボットの遠隔操作のためのシステムです.何らかの作業をするロボットは一般的にアームや台車などたくさんの自由度を持っていますが,それゆえゲームパッドのような操作系では操作を覚えるのが大変です.TouchMeでは,タッチした場所がそのまま動く(What You Touch is What You Control)というコンセプトに則っているので直感的に操作を行うことができます.


ARによって家電をコントロールする

ARによって実世界をコントロールする,ということが私たちの生活とどう関係してくるか?ということを説明するために,以下の2つの事例をビデオで紹介しました.いずれも,私の所属する科学技術振興機構ERATO五十嵐デザインインタフェースプロジェクトにおいて研究開発されたものです(説明不足で申し訳ありませんが,私が直接開発に関与したものではありません).

まず一つ目はCRISTALというシステム.これはARを使って家電を操作するシステムです.天井にあるカメラで部屋の中を捉え,その映像がリビングのテーブル上に表示されています.映像の中にある家電にタッチすると,その家電を操ることができます.例えば,フロアランプの明るさを変えたいときは,映像の中のフロアランプにタッチすれば明るさを操作できます.システム内に保存されているデジタルデータ(ビデオや写真)をテレビに向かってドラッグすれば,本物のテレビで再生されます.実世界のものも,デジタルなものも一元的に扱えるようにしているのが面白い点です.

2つ目はAirSketcherというシステム.扇風機にカメラが付いていて,ARマーカを認識することができます.マーカは2パターンあり,それによって風を当てる場所と,当てたくない場所を扇風機に指示することができます.ARマーカは,実世界にCGをレンダリングするための道具ですが,このシステムでは,実世界に風をレンダリングしている,という風に見ることができますね.

デモで紹介したTouchMeと,ビデオで紹介したCRISTAL,AirSketcherの3つは,日本科学未来館にあるもんもとすむいえ展のなかで展示されていますので,実際に触って体験することができます.

AR三兄弟によるさまざまな事例紹介

私のデモの後,AR三兄弟の長男・川田さんが登場.AR三兄弟はAR業界一のエンタテイナーと言っても過言ではない存在です.これまで100を超える作品を作られたそうで,そのアイデア力には本当に驚かされます.講演では,これまでAR三兄弟がやってきたさまざまなものの「拡張」をご紹介していただきました.その中で私が特に好きなのが,物語の拡張として紹介された東のエデンとのコラボ

ビジネス的に見ると,Webへの誘導や関連商品を買ってもらう戦略として,うまくARコンテンツが連動している好例だと思っています.なにより,作中に出てくる未来感のあるものを,実存のものとして体験できるようにして,テクノロジとの距離感をぐっと縮めているのが良いですね.

そしてデモとして,某タモさんの拍手芸(手の動きに合わせて観客に「パン パパパン」と拍手をさせるあれ)を音手(おんず)によって拡張するコラボ作品を披露! 実はぶっつけ本番に近い状態でのデモだったのですが,見事にキメてくださいました.

そして閉幕

最後は,ARはこれから実世界を楽しくする技術=本当の意味での拡張「現実」になるんだというメッセージとともに,閉幕となりました.実はまだパネルトークなどいろいろお見せしたいものがあったのですが,さすがに1時間という枠は短かったです.ぜひまたやりたいですね.

*1:Wikipediaの記述によれば,「ダークスの展示を見たペッパーは、仕掛けを改良し、1862年のクリスマス・イヴに興行を行った。」とあります.初回だけこの時期だったのかもしれませんが,クリスマスという特別なシーズンに科学的なショーをやるあたりに魅かれるものがありますね.これはAR三兄弟のAR忘年会にも通じる?

*2:これのメイキング動画もありました.これもかわいいw YouTube