大学院で学びたい方
大学院で学びたい方
バーチャルとリアルを体験する新しいデザインの世界
「世の中はデザインの力でもっと良くできる」という思いのもと東工大出身のデザイナー・アートディレクターとして活躍する小玉千陽さんと、人の目では捉えられない瞬間を把握し、制御する技術を使ったダイナミックプロジェクションマッピングに取り組む渡辺義浩准教授。
人とコンピュータ、仮想と現実、時間と距離の関係が変わっていく新しい時代のデザインについて語り合っていただきました。
（対談日：2021年6月21日／すずかけ台キャンパスにて）
渡辺准教授が提案するダイナミックプロジェクションマッピングは、動く物体の表面にも遅れることなく絵を映し、表面上で素材を変化させ、物体の影も創り出すことができる。
実験に使用しているのは凹凸の投影が確認しやすい、うさぎや人物の置物。
置物を動かしても、ずれることなく表現される質感や色はまさにその素材そのものと言える。
一般的なテレビカメラの30fps～60fps※に対し、360fpsで撮影できるカメラで捉え、世界最速レベルの最大947fpsのプロジェクタで投影することで、視覚的に気づかないほどの低遅延を実現している。
うさぎの置物はスタンフォードバニーと呼ばれる、1994年にスタンフォード大学で開発されたコンピューター・グラフィックス用の試験用モデル。幾何学的複雑さや、3次元スキャナで読み込んだときの三角形要素の数から、様々な3次元グラフィックデータの試験用モデルの定番として使用されている。
渡辺東工大の学部生時代からデザインに興味を持って活動されて、それが今の仕事につながっていらっしゃいますね。東工大出身のデザイナーというキャリアは異色に思えますが、今の立ち位置をどうお考えですか？
小玉卒業したばかりの頃は、東工大を出てデザイナーになるというキャリアの前例がなくて、とにかく必死に仕事をしていました。今では理系的発想が好意的に見られたり、ビジネスの話をする上で理解度が高くて助かると言われたり。自分でも左脳的発想と右脳的発想の使い分けを意識しています。
渡辺デザインで大事にされていることは何でしょうか。
小玉ユーザー体験を起点としたつくりこみです。もともとUI/UX※1デザインを得意としているのですが、突飛なアイデアというよりは自分が体験したことをストックしておいて、その体験をもとにユーザーに「こういう気持ちになってほしい」と考えることを大事にしています。
渡辺新しいサービスは自分でも体験していないですよね。その体験をデザインする源泉は日常の中にあるのか、仮想のものなのか、または日常と仮想を地続きにして考えるのでしょうか？
小玉営業の方が行っていることを自動化・効率化するためのサービスを考えるようなDX※2案件が多いのですが、たとえば本をデジタル化するときは紙に触れるという原体験がもとにあるので、リアルな世界に紐づいていることが多いですね。また、UI/UXのデザインは見た目の気持ちよさはもちろん、クライアントである企業や社会にとって良いことをどう実現するかが問われます。人の行動に直接つながる部分をデザインするからこそ、利益率などの数字を追求する視点も大切です。感性だけでなく、ビジネス的な力を持ったデザインでも社会を良くしていけるんだと実感していて、自分の視座もアップデートしていますね。
渡辺研究者の立場としては、研究成果を最終的に世に出すとき、その成果を人に伝えるうえでデザインの力が大きく影響すると思っています。ところで僕は以前、今ある技術より100倍速いスキャン技術をつくり、本を画像化するデジタルアーカイブに取り組んでいました。でも、本は紙や手ざわりも含めて完成品だから、単なる画像化はデジタルアーカイブではないという声もあり、ものの本質とは何かを考えることが大事だと感じたんです。
機械による書籍の高速ページめくり、リアルタイムの3次元状態認識技術、高速のゆがみ補正アルゴリズムを導入した高速・高精細書籍電子化システム。250ページ程度の本1冊が1分で電子化できる。
小玉デジタルアーカイブではないという声に対してどのような答えを出されたのでしょうか？
渡辺再生可能でなければデジタルアーカイブではないと思っています。本の表層だけを保存するのは本質ではなく、たとえば100年後、紙や手ざわりまで同じ本として手に取れるかまでを考える必要があります。ですから取り込んだ素材をいかに再現できるかが課題と言えますね。そうした経緯もあり、リアルとバーチャルの両面からものの本質を探ることができるプロジェクションマッピングに取り組むことになりました。プロジェクションマッピングはリアルなものをバーチャルで再現できます。たとえば、簡単には消せない入れ墨の絵を一瞬で変えられる。ある物質をダイヤモンドに見せることもできる。 そうすると本来の価値観はどこにあるのか。それを問いかけ、多くの人と考えるためのアウトプットとしてこの研究をしています。
小玉テクノロジーの発展に人を巻き込もうとするスタンスが素晴らしいです。研究者には、研究が好きで新しいものをつくりたいタイプのほかに、世に問いかけた上で誰かに伝えるためにデザインをしたいタイプの方もいるということがわかって感動しています。UI/UXのデザインで重要なのは、伝える先に人がいて心にアプローチするということなんですが、その考え方が先生の研究ととても共通しています。
UI（ユーザーインターフェース）：利用者と機械の間で情報をやりとりするための仕組み、人と製品やサービスをつなぐもののこと。
UX（ユーザーエクスペリエンス）：人が製品やサービスに触れて得られる体験のこと。
DX（デジタルトランスフォーメーション）：デジタル技術を浸透させることで人々の生活をより良いものへと変革すること。
小玉コロナ禍で家にいる時間が増え、世の中の変化に気づくようになりました。鳥の鳴き声や風の流れが変わったとか、そういう日常にある変数に気づける状態をつくっておくことが大事だと最近考えています。
渡辺社会の変化や季節の移り変わりを変数という言葉で表現されているのが非常に理系的で、日常に取り入れているのは流石だなと思います。自分の考えが整理され、人にも伝わる思考回路が整いますね。
小玉因数分解の勉強もすごく大事だったと今は感じています。体験にはいろんな変数があって、それをどう因数分解していくかという思考は数学の勉強で培われたと感謝していますね。
渡辺僕は小さい頃SFが大好きでよく観ていたのですが、そこに登場するような技術も現実的に考えていくと発想がしやすくなりますね。また、以前知り合ったアーティストの方が感性だけでなく非常にロジカルにものごとを考えていて、心を動かすような驚きはロジックの先に生まれると実感したこともあります。
小玉SFには想像力の起爆剤のような力があってとてもヒントになりますよね。デザインにもアートにもどちらにも視野を広げられていて先生はすごいですね。
渡辺そんなことはないです（笑）。ただ、我々の業界はソリューションの提供が成果物だと思われていますが、活動の8割は多様な視点で、いかに問題を発見できるかが重要だと思っています。
小玉数学と同じですね。数式はつくるのが大変で、できたらあとは証明していくだけという。
渡辺アーティストやダンサーとコラボしたときは、テクノロジーとアートの間で譲れない部分を調整する難しさを感じました。
小玉デザインはセンスがないとできないと思われがちですが、まずは思考を整理して話し合うことが大事ですよね。ディレクションは共通言語をいかに出すかが重要。コロナ禍により対面で会話する機会が貴重になっている時代だからこそ、もっと歩み寄らないといけないと思います。それはテクノロジー側にも言えるかもしれません。
渡辺テクノロジーが人の行動を知らない間に制限しているケースが実は多いんです。たとえばコピー機。厚い本をスキャンするときにカバーを押さえるのは本を平坦にする技術がないからで、人が労力をかけないといけないデザインになっている。テクノロジーの怠慢なんですね。その問題をデザインの視点で見つけられる能力がこれからのエンジニアリングには必要になってきていると思います。
再現したいものの実素材を周期運動させてリアリティを高めた3次元ディスプレイ。たとえば毛糸のパンダを映し出すために実際の毛糸を用いることで、立体像を映し出すことと質感を再現することの性能を同時に高めている。
小玉プロジェクションマッピングはすでにアートやエンターテインメントや広告でも使われますが、先生の研究はさらに高度なダイナミックプロジェクションマッピングの技術を扱っていると伺いました。狙いはどういったところにありますか？
渡辺目の前のものは自在に見た目を変えられるというメッセージで捉えています。デジタルで加工しているものを日常の実世界で実現する。そのためには動いている対象に投影することができるかがポイントになります。カメラで捉え、モデリングで再現し、プロジェクタで投影して、補正を行う、この4つの工程すべてでソフトとハードが速くないといけません。この速度が研究の強みのひとつです。また、動いている対象に投影したものがリアルに見えるかどうかは投影にかかる時間が重要で、そのために速度を上げていますが、理想の0秒には届きません。しかし人間は遅れの時間がある範囲に収まると遅れていないと感じます。このように、認知心理学の側面も取り込むことで、自在に見た目を変えることを狙っています。
小玉人の目がリアルな世界だと感じる範囲はどれくらいなんですか？
渡辺6ミリ秒（0.006秒）です。この時間を目指すことを一つの軸として僕の研究室ではカメラなどを年々スペックアップし、プロジェクタは世界最速レベルとなっています。ハードウェアのコア技術をアップデートしつつ、アプリケーションも少しずつ広げています。
小玉人が感じる速度というのはUI/UXのデザインでも大事です。webサイトなら読み込み速度が体感に紐づきやすく、たとえば待つ時間を示すアニメーションをロード画面に明示するだけで心理的な負荷が違うなど、認知心理学は私も勉強して取り込んでいますね。そういった点に配慮されたものが増えてきたことをとても感じます。良い意味で平均点が上がってきていますね。
渡辺研究発表会に行くと認知心理学から哲学、統計学など多様な分野の方がいます。あるデバイスのUXに対して、倫理的な考えや文化人類学としての観点など、間口が広がっていて、一つの分野にとどまらず、あらゆる視点から研究していく時代になっていると感じます。
小玉多角的な視点を持ちながら大学で研究を続けられている先生ですが、今後についてどのような展望をお持ちですか？
渡辺その研究のアイデアを聞いたときに、次の日から世界の見方が変わるか、もう元には戻りたくなくなるような体験を届けられるかが大事だと思っています。その考えのもと、何万冊という本があっという間に所有できるスキャンや、ものの価値が見た目上で自由に変えられるプロジェクションマッピングといった現在の研究をさらに発展させたいですね。
その上で、現実的な考えと仮想的な考えを地続きに捉えて、未来志向のテクノロジーの開発にも挑戦していきます。それこそデザイナーの方と協同する機会も大事だと思っています。
小玉さんが手がけた三井不動産のワークスタイリング会員専用サイトのリニューアル。ユーザーファーストであることに徹底的にこだわり、愚直なリサーチと議論を重ねて制作し、ユーザーの心地よい体験をデザインしている。
小玉テクノロジーの進化には、デザインエンジニアリングの観点が必要ですね。
渡辺そうですね。テクノロジーの欠損の話としては、スマートフォンが登場した時代にiPhoneがアイコンなどのデザインにスキューモーフィズム※3を取り入れた例があります。スマートフォンを操作する技術に慣れるためデザインでカバーしようとしたわけですが、次第にフラットデザイン※4やマテリアルデザイン※5へと置き換えられます。このデザインの移り変わりや時代の流れの中で、逆にデザインがテクノロジーに求めるものもあると嬉しいと思っていました。そういった瞬間は小玉さんにはありますか？
東京メトロの新サービス「Find my Tokyo. List」のアートディレクション、UIデザインを担当。写真を選ぶだけで、誰でも簡単におすすめスポットをまとめたリストをつくることができる。
小玉個人的にデバイスを使っていて思うのは、手ざわり感をサポートする何かというのは可能性がありそうです。触覚などの感覚はまだ画面の中にとどまっていると感じますね。
渡辺僕は質感と呼ばれるものがリアルとバーチャルを分けるポイントになっていると思っています。本物ではないけれどリアルな質感があってさらに自在に再現できる技術が生まれたとき、デザインのあり方も変わってきますね。
小玉ディスプレイ上に立体感があるだけで世界が変わりますよね。
渡辺我々は五感で捉える健常者の視点で話していますけど、ポケットに入れたままスマホを操作できるかと考えたときに、触覚など五感のいずれかを担う技術が大事になります。その技術をデザインする際は、人の体験をないがしろにしないよう気をつけないとニーズに合致しないものになってしまいますね。
北欧、暮らしの道具店から2020年末まで発刊されていた小冊子のWeb化。なるべく発刊された紙に近い感覚で、アプリ内から楽しく読んでもらえるよう制作。
小玉ものの本質がどこにあるか、ですね。それを追求するのがデザインでもテクノロジーでも大切だということがわかります。
渡辺新しい技術をつくることはそこまで難しくないですが、顕在化していない社会のニーズは研究者やエンジニアだけではなかなかわかりません。だからこそ、将来を担う学生は社会を見る目を養い、いろんなことに興味を持ってほしいですね。答えが出ないことやわからないことを体験して、広い視野で大学生活を楽しんでほしいと思います。
小玉エンジニア的思考＋デザイナーの視点というのは社会に必要性があって、もっと社会を良くする大きな要素をデザインが担えると考えています。ですから、世の中の仕組みや原理を解明する理系の思考でデザインにも興味を持ってほしいし、「デザインは数学だ」くらいに考えてもらって、東工大出身のデザイナーが一人でも増えてくれたら嬉しいですね。
渡辺義浩
東京工業大学 工学院 情報通信系 准教授
2007年、東京大学大学院情報理工学系研究科システム情報学専攻博士課程修了、博士（情報理工学）。同年より東京大学大学院情報理工学系研究科リサーチフェロー、2008年より特任助教、2011年より助教、2014年より講師を経て、2018年より現職。研究分野はコンピュータビジョン、拡張現実、デジタルアーカイブ、インタラクション。工学院 情報通信系 情報通信コース担当。
渡辺研究室
先進的なビジュアルセンシングと高速な視覚を駆使したダイナミックプロジェクションマッピングで現実を拡張する研究に取り組む。人間の知覚を超越する速度を鍵に、高性能カメラやプロジェクタなどを用いて、目には見えない瞬間の把握と制御を行い、新しい実世界をデザインできる可能性にチャレンジしている。
小玉千陽
アートディレクター UI/UXデザイナー
東京工業大学工学部社会工学科卒業。在学中よりデザインの専門学校にダブルスクールで通い、デザイン事務所 Web制作会社などで経験を積む。2011年にArt&Mobileに第一号社員として入社。フリーランス、大手広告代理店での活動を経て、2017年8月にデザインスタジオium inc.を設立。UX/UIのデザインを軸にアートディレクションやコンサルティングを担い、アプリやWeb、紙媒体などの領域で活躍中。
本インタビューは東京工業大学のリアルを伝える情報誌「Tech Tech ～テクテク～ 39号（2021年9月）」に掲載されています。広報誌ページから過去に発行されたTech Techをご覧いただけます。
スペシャルトピックスでは本学の教育研究の取組や人物、ニュース、イベントなど旬な話題を定期的な読み物としてピックアップしています。SPECIAL TOPICS GALLERY から過去のすべての記事をご覧いただけます。
（2021年取材）
