に移行していきます。公開されているページは東京科学大学の情報として有効なものです。大学院で学びたい方
大学院で学びたい方
まだ記憶に新しいリオ2016大会閉会式
東京2020フラッグハンドオーバーセレモニーでのパフォーマンス演出をはじめ、多彩なクリエイター・アーティストとのコラボレーション作品や舞台芸術を数多く手がけ、世界的に活躍するハード・ソフトの開発から、オペレーションまで プロジェクトにおける全ての工程を行うクリエイティブ集団ライゾマティクスリサーチの石橋素さん。
一方、バーチャルリアリティ（VR）やシミュレーションなどの研究を通して、まるで人間のように動くキャラクターの創造を目指す長谷川晶一准教授。
まだ誰も見たことのないものを追い求めるお二人に、技術と表現の新しい可能性について語り合っていただきました。
（対談日：2019年6月19日／すずかけ台キャンパスにて）
石橋今回こうして招いていただいて、久しぶりに東工大のキャンパスを歩いて回りましたが、僕が在学していた頃とは印象が変わりましたね。若い世代、特に女子学生が多いなと。
長谷川当時と比べると女子学生の数は増えていますね。石橋さんはご卒業後、アルスエレクトロニカセンター※1に常設展示された『particles』をはじめ『proportion』など多くのインスタレーション※2や展示作品を手がけられてきましたが、近年はダンスなどのパフォーマンス作品が増えてきたことについて何か変化を感じていますか？
石橋インスタレーションも舞台作品も技術的には変わりません。違いはお客さんが体験できるかどうか。僕たちはダンス作品もシステム自体をダンサーさんと一緒に作っていて、鑑賞するだけというより体験型の作品に近いと思っています。だから最近は直接体験しなくても一番良い状態で見てもらえると考えるようになってきました。舞台作品が増えてきたのはそれが要因だと感じています。
長谷川映像も非常に効果的ですよね。 You Tubeの賜物かもしれませんが、かなりのことが伝わると私は思っています。
石橋僕たちもそれはとても意識していて、ある程度作品として見てもらえる状態に作り込むことを心がけていますね。
長谷川それでも一から十まで用意しておくわけにはいかないと思います。絵だけを先に描いて、全部それに合わせて踊ってくださいという作り方はされていませんよね。
石橋作り方は色々あります。たとえば、ダンサーさんにドローンを持って動いてもらってモーションキャプチャーで収録します。その動き方でドローンを飛ばすと、ダンサーさんは自分が動かしているイメージを持ちながらドローンと一緒に踊るという表現になります。
長谷川まさに演劇やダンスの作り方ができていて、素晴らしいですよね。その場でリアルタイムに作り上げる手法に興味を惹かれます。というのも、アニメーションでは作り込んだ動きを再生するだけですが、たとえばVRのキャラクターはこちらの動きに反応して動かないといけません。近づいたときに顔の表情や視線が変わる、リアルタイムに反応をさせるのは難しいんですが、舞台では即興劇のように実現されていて驚きます。もう一つは、映像だからこその見せ方です。リアルタイムと映像の使い分けも凄いと感じます。
![ルミネーション・インスタレーション『particles』。点滅する光源が空中を浮遊して、幻影的な残像を作る。2011年アルスエレクトロニカ インタラクティブアート部門 準グランプリ受賞。Courtesy of Yamaguchi Center for Arts and Media [YCAM] Photo: Ryuichi Maruo (YCAM)](/public-relations/img/82-hasegawa-lab-01.jpg)
ルミネーション・インスタレーション『particles』。点滅する光源が空中を浮遊して、幻影的な残像を作る。2011年アルスエレクトロニカ インタラクティブアート部門 準グランプリ受賞。
Courtesy of Yamaguchi Center for Arts and Media [YCAM] Photo: Ryuichi Maruo (YCAM)
『proportion』ではロボットアーム＋レーザーピコプロジェクターで動く模型に映像を投影。やくしまるえつこメトロオーケストラ『少年よ我に帰れ』のMVのためのインスタレーション。
photo by Muryo Homma
石橋僕らの場合、ライブでやっているというのが強みとも言えます。ケースバイケースですが、2018年の「NHK紅白歌合戦」でのPerfumeのパフォーマンスでは、会場にいる約1,500人のお客さんよりテレビで見ている約5,000万人を意識したり。生放送という前提を視聴者を含めたみんなが共有しているから、事前収録で編集したものではなく、リアルタイム処理をしていると思いながら見るので感動が違うんですよね。ライブはそういう強さがあります。
長谷川確かにそうですね。また、ライブゆえのアクシデントにも対応できるように作られているわけですよね。
石橋何かあったらその場で修正を試みて、それでもダメだった場合のバックアップも用意しています。作り手側もリアルタイムでハラハラしていますね。それに、この技術はこの人しかできない、というのがあるので、一人でも欠けると成立しないこともあります。
長谷川うちの研究室でもこの装置はこの人しか動かせないというのはよくあります。それにしても、いつ見ても凄い数の計測制御ですよね。よく間違いなく通信できているなと。故障率が0.01％もあったらうまくいきませんから、もっと低い数値なんでしょうか。
石橋計ったことはないですね。ただすべて連動して動いているので、きっと数値上はクリアしていると思います。
24台のドローンと3人のダンサーによる『24 drones』。
機械学習を取り入れることでドローンの動きに効率性と安全性を加え、全体の構図に美しさも与えている。
長谷川これまでの無機物中心のパフォーマンスにダンサーさんが入られて、作品に違う良さが生まれたと思います。動きや表現について何か求めるものがあったのですか？
石橋たとえば僕が動いても表現のバリエーションは少ないし、可能性を十分に引き出せません。本当に楽しそうな動きやかっこよく見せることは、プロじゃないと難しい。そこに演出振付家のMIKIKOさんによるダンサーさんの振り付けや演出が入ることで「こういう動きをするとこういう絵になるんだ」と、こちらのアウトプットも豊かになるんです。
長谷川VRの世界で人物の動きを作るときは、アニメーターの方がその役を担います。「こう動いたら見る人にこう感じさせる」ということが描けるんです。役者やダンサーの方が感情を動きで表現できるのと同じです。バイオロジカルモーションといって、光の点を体に付けて暗闇で撮影すると、光の動きだけで感情まで伝わるんですよ。それをキャラクターに実装しないといけないんですけれども。
石橋今もアニメーターの方は手でそういう動きを作られているんですか？
長谷川そうです。3Dモーションはキーフレーム※3アニメーションが一般的で、関節の角度や手の開き方などを少しずつ調整して動かしています。ただ、その場で違う動きは作れません。アニメーターの方が動かすようなクオリティを作り込みつつ、ユーザーの動きに対してリアルタイムに反応させる。その両立をどう図るかを私の研究室では一番に取り組んでいます。
石橋僕らも台車の動きや光のパターンなどを作るんですが、美しく見えるような移動やタイミングをプログラミングで組むことも、手を動かしてアニメーション的に一つひとつ仕上げていくこともあります。たとえばダンサーさんの頭にモーションキャプチャーのマーカーを付けて歩いてもらって、その軌跡に沿って台車を動かすと、ちょっと迷った動きが再現されたり。そういうノイズや揺らぎにグッとくることはありますね。
長谷川ロボットの変な動きを観察すると、制御系の仕組みが見えてきますよね。作り手の頑張りや目的がわかるというか、何を見て何を判断しているかが伝わってくるから可愛いんですよね。
石橋反対にすごく統制が取れていて、寸分の狂いもなく台車がピタッと揃っているのも気持ちよく感じるじゃないですか。作り手としてそういう喜びはありますよね。
長谷川最適な制御が決まっていると、きちんと答えが見つかっている人の仕事だとわかりますね。
石橋ドローンを24台飛ばした作品があるんです。そのテストのとき、何かのデータ転送が遅くなって暴走したんですね。その動きが僕らがどうやっても作れない暴れっぷりで。本当は止めないといけないのに、動きとしてはめちゃくちゃ面白いのでしばらく見ていたんですよ（笑）。
長谷川突然、生き物の群れの動きになっちゃうような（笑）。
石橋長谷川さんはキャラクターの動きをどのように作られているんですか？
長谷川いろいろありますが、CGの作り方とは違って物理シミュレーションを駆使して制御しているのでロボットに近いです。現実のロボットにはトルクや可動域などの制限がありますが、VRでいくらシミュレーションしてもお金はかからず、力は無限に出せます。とはいえ、無限に出すと人間ではなくなるので、人間らしいパラメーターを簡単に設定できるシミュレーターをまず開発しました。でもそれでできるのはまだ身体だけです。
石橋そこから人間のように動かすための制御を実装していくということですね。
長谷川感覚で外界を捉え、行動の目的を決め、運動をする、という人間がくり返している動きのシミュレーションに取り組んでいます。制御として実装すると生きているようになるんですね。目はどのくらいの速さで動くかなど心理学でわかっていることも真似をして、半分は科学に基づいて、もう半分はスタッフの感覚で、人間らしく動くようなシミュレーターを生み出そうとしています。まずは興味があるものを見て手を伸ばす、それだけで生き物らしさは出てきます。その仕組みを実装したデモンストレーションを制作していて、キャラクターがこちらの動きに合わせて目線を動かしたり、手を振ったら振り返してくれたり、相互的なやりとりができることで見る側の感情を引き起こすことができるかなと思っています。
石橋最近はプロモーションビデオをVRで作られているアーティストもいますが、その中でたとえば、こちらの視線に反応するようなキャラクターがいると全然違うものになりそうですね。画面越しに見ている誰かが手を叩くと、何人かで歌っているキャラクターのうち一人が反応してくれるとか。
長谷川視線やタイミングが合うと人間はどうしても無視できませんから、存在感を出すという意味で面白いですね。心理的な距離も、目が動くかどうかで変わってきます。キャラクターがこちらを見るようになるとパーソナルスペースを尊重するようになって、物体ではなく人として認識されるようになります。今後、人間らしいキャラクターが出てくるとVR業界は相当活気づくでしょう。昨年頃から流行しているバーチャルYouTuber（VTuber）は私も面白いなと。たとえば演者がいなくても、ある程度の知能を搭載したキャラクターは現状でも作れると思います。ただ技術的にまだまだ追いついていないのは動きの部分ですね。
石橋これからの時代はリアルとバーチャルがますます融合していきますね。そのとき、エンターテインメントの世界でも見せる技術を更新し続けていかないといけません。ただテクノロジーも進化するので、新しい演出や表現方法も作り続けられるから、作り手のハードルは下がると思うんです。今でもアイデアがあれば、昔より遥かに簡単に映像や音楽などを作れるようになりましたから。
どんな角度から見ても目が合う「モナリザ効果」を防ぐディスプレイ技術。目だけを手前のレイヤーに描いて二重にすることで、見る位置によって目の動きが変わり、大勢の中でも誰と話しているか明示できるため自然な会話ができる。
VTuber本体が自動で反応する技術を開発。演者の動きとは別に「物が当たるとぐらつく」「アイテムを投げると受け取る」といった自然なリアクションを取る。
長谷川何かを発信するのも理解するのも早くなりましたね。これからもっとVRが浸透すると、つまりメディアが進化すると、受け取る情報がより実体験に近いものになって、より早く広く伝わります。メディア研究者のマーシャル・マクルーハンによると、人は口頭でのやりとりから文字を書くようになったことで、物事を順番に主に文章で考えるようになったと。その後テレビが登場したことで、映像と音声を直接感じる思考形態が復活した。マクルーハンが、テレビ時代で育った子どもを見た瞬間に、自分とは違うと気づいたそうです。私もそろそろ、インターネットやVRの世界で育った世代は、自分とは受けてきた教育や考え方が違うと思わないといけないなと考えています。
石橋確かに今の世代には目を見張るものがあります。うちの会社では中高生向けにワークショップを開催しているんですね。音響、ダンス、プログラミング、ライティングなど志望動機に基づいた役割を与えて、チームを組んでプレゼンテーションしてもらうんですが、飲み込みが早いから仕事がこなせるんです。そういった人材の育成はこれからの時代を生き抜く上でとても大切です。
長谷川今後はさらにコミュニケーションの仕方が変わると思います。VTuberがそうであるように、VRは身体を取り替えられますよね。自分とは別の身体で、別の世界で、別のコミュニケーションを取る。そんな時代になったとき、人間はどう変わるのか興味がありますね。また、その世界はシステムに制御されるのではなく、自分の意志で作れたらいいと思うんです。たとえばSNSは自分が見たい情報が流れてくるように設定できますよね。これがVRやARの世界でもできるようになる。その人にとって心地いい設定を見つけてコントロールできる仕組みを作って、上手く運用すれば人をもっと幸せにできる可能性や期待感は大きいと考えています。
物理エンジンを用いることで、VTuberなどの遠隔操作するCGキャラクターが、力学的影響を考慮してインタラクションすることを可能とした。
キャラクターの身体は他のアイテムにぶつかるとぐらつき、姿勢を立て直すように操作者の身体の形に戻るといった反応を自然に表現できる。
物理エンジンを用い、物や体が当たった場合に、キャラクターが遠隔操作からずれて力学に従って動くことで、貫通せず自然に反応したあと徐々に遠隔操作に戻る。
長谷川石橋さんが今の道を進むことになったきっかけは何だったのですか？
石橋昔の制御システム工学科（現工学院）にロボコンの授業があって、3Dプリンタもない時代にロボットをつくるためにアルミを削ったりするのが楽しくて。手を動かして何かを作るのがその頃から好きだったんですね。
長谷川その授業、私も受けていました（笑）。
石橋そうなんですね！ その気持ちが高じて、卒業後に国際情報科学芸術アカデミー（IAMAS）に進んだことが一番大きな転機ですね。テクノロジーと表現を合わせた授業をする専門学校で、実践が多かったです。人に見せるものを作る、ということをやりはじめたのはそこからでした。
長谷川東工大には本当に技術やものづくりが好きな人が多いですよね。学生も教員もそういう人が集まっているから、常に新しいものや面白いことが生まれてくるんだと思います。私は東工大に入ってから、自分が面白いと思ったものを一から十まで自分で考えて、自分の手で作るということを経験したのが大きかったです。ぜひこれは今の若い世代や学生に一度は経験してほしい。与えられた課題ではなく、自分の中から生まれてくる動機からはじまり、最後まで作りきることの楽しさを知ってもらいたいです。東工大はそれができる場所でもあります。
石橋コミュニケーションのあり方が変化してきて、今は自分からアクションを起こせるようになりましたよね。たとえば高校生が長谷川さんにメールを送ることだってできるじゃないですか。僕らの頃はできなかったから、とても幸せな時代だと感じますし、興味を持ったら直接トライしてみるのが一番です。ちなみに、僕も仕事でダンス作品に関わるようになって、プライベートでも仕事仲間とダンスを習いはじめました（笑）。いろいろなことにトライして、やりたいことや進みたい世界を見つけて近づけたらいいと思いますね。
オーストリアのリンツで開催される世界的なメディアアートの祭典の会場。
展示空間にオブジェや装置を設置し、空間全体を作品として体験させる現代美術の手法および作品。
CG手法の一つで、数フレームおきに物体の形や位置の変化ポイントを指定し、その間を補完して動画を作成するアニメーションの技術。
長谷川晶一
東京工業大学 科学技術創成研究院 未来産業技術研究所 准教授
1997年、東京工業大学工学部電気電子工学科卒業。1999年、同大学大学院総合理工学研究科知能システム科学専攻修士課程修了、同年ソニー株式会社入社。2000年、東京工業大学精密工学研究所助手。2006年、博士（工学）取得。2007年、電気通信大学知能機械科准教授。2010年、東京工業大学精密工学研究所准教授を経て2016年より現職。バーチャルヒューマン、物理シミュレーション、力触覚、ヒューマンインタフェースロボット、エンターテインメント工学の研究に従事。Euro Graphics 2004 Best Paper Award、日本バーチャルリアリティ学会論文賞、貢献賞など受賞。工学院 情報通信系担当。
長谷川研究室
人が自然に楽しく創造的に暮らせる情報環境の創造を目指し、バーチャルリアリティ（VR）、拡張現実（AR）、シミュレーション、ヒューマンインタフェース、ヒューマンコンピュータインタラクション（HI、HCI）などを研究。エンターテインメント・ゲーム・インタラクティブメディアといった新しい応用も視野に入れて研究に取り組む。身体に巻いた紐を通じて全身に音楽の響きを伝える「Hapbeat」（ハップビート）や、裁縫とプログラミングでぬいぐるみをロボットにできる「NUIBOT」（ヌイボット）なども長谷川研究室から生まれた。
石橋素
ライゾマティクスリサーチ ディレクター
1999年、東京工業大学工学部制御システム工学科卒業。2001年、国際情報科学芸術アカデミー（IAMAS）卒業。2015年よりライゾマティクスのR&D・アート部門「ライゾマティクスリサーチ」を真鍋大度氏と共同主宰。デバイス・ハードウェア制作を主軸に広告プロジェクトやアート作品、ワークショップ、ミュージックビデオ（MV）、インスタレーションなど多領域にわたり活動。産業用ロボットを用いたダンスパフォーマンス作品、国内外問わず様々なアーティストとのコラボレーションの中で主にハードウェアの技術面のサポートを行い、数多くの作品を手がける。アルスエレクトロニカ、カンヌライオンズ、文化庁メディア芸術祭など受賞多数。
本インタビューは東京工業大学のリアルを伝える情報誌「Tech Tech ～テクテク～ 36号（2019年9月）」に掲載されています。広報誌
ページから過去に発行されたTech Techをご覧いただけます。
スペシャルトピックスでは本学の教育研究の取組や人物、ニュース、イベントなど旬な話題を定期的な読み物としてピックアップしています。SPECIAL TOPICS GALLERY から過去のすべての記事をご覧いただけます。
（2019年取材）
