リアルタイム合成技術を用い、鑑賞者がその場で映像に入り込むインタラクティブな作品を制作する早川翔人さん。採択されたプロジェクト『BOX SEAT』(仮)は、鑑賞者とデジタルヒューマンとのコミュニケーションを通して物語が多様に展開していく、アーケードゲーム型ロードムービーです。

アドバイザー:タナカカツキ(マンガ家)/山川冬樹(美術家/ホーメイ歌手)

リアルタイム合成でアドバイザーが作品のプロトタイプに入り込む

―今回は会議室にプロトタイプを設置し、アドバイザーが体験します。

早川翔人(以下、早川):前回お話ししていた、マスクを外すフェーズは、作品体験の手前に持ってきました。留意事項を伝えるような体裁で、マスクを外すようデジタルヒューマンから体験者に促します。 ちなみにここに配置する映像は、ティザー映像としてSNSでの告知などにも使えればと考えています。

部屋の入り口で、体験者にマスクを外すよう表情豊かに促すデジタルヒューマンのマイルス。「あなたの表情がちょっと硬いので、もっとリラックスして」とも。

―山川さん、タナカさんの順番で、一人ずつ椅子に座り、プロトタイプを体験します。

―プロトタイプでは作品の序盤のみ体験。映像内、右手前にいるデジタルヒューマン(マイルス)からの指示に従って、様々な表情を順番にテストし、さらに、表示された写真に対して抱いた感情を表情で表す。驚きの表情をテストされている山川さんと、写真に抱いた感情を表情で表すタナカさん。

映像下部に示されたメーターが、表情の検知度を表す。

タナカカツキ(以下、タナカ):すごく面白いですね。不穏な空気感がとてもいい。

山川冬樹(以下、山川):照明が効果的で、リアルタイムで映像を合成しているとはとても思えないほどです。完全に世界に入り込んだ感じがしました。表情検知のときに映像が少し歪んでモノクロになる、その変化もいい。
実際に体験してみると、「表情」がもつ表面性が際立つのが面白いですね。表情は感情を表すものとされていますが、実際にはそれは感情を隠すための仮面でもあって、体験中も「面白い!」というのが自分の素直な感情だけど、敢えて違う感情の表情をつくってみました。かつ、マイルスのようなデジタルヒューマンも、表層的な存在です。表層性という部分で生身の人間とデジタルヒューマンが妙にリンクすることがまた、不穏な気持ちにさせますね。

早川:近年カスタマーサービスなどをはじめ、生身の身体の代わりにデジタルヒューマンやアンドロイドが使われる例が増えてきています。その転換期に差し掛かっているといっても過言ではありません。とはいえデジタルで判断される感情は、様々な要素の数値化の結果でしかなく、デジタルヒューマンの表情もその数値からつくられているものでしかない。そういった部分への違和感なども、作品に盛り込めたらと思っています。

山川:その批評性はとても重要だと思います。感情は数値化できないという人もいるけれど、実際はこうして案外できてしまう。じゃあ逆に、数値化できないものって何かと問いかけることも、この作品を通してできると思います。
体験して、ZOOMで遠隔授業をしている時のことを思い出しました。学生たちはカメラをオフにしていてまったく反応が見えず、自分は一体何に対して語りかけているんだろうと考えてしまうことがありました。でもあるとき、これは祈りに近いと感じたんです。神や死者に祈るかのように、学生たちに「届け、届け」と祈りながら授業をする。そうするとちゃんと届くんですよね。技術的に進歩したことで、かえって見えないものを信じようとする人間的な面が出てきてしまうんだなと感じた体験でした。
あとは、子供の頃に感じた、自分以外は想像上の人物で、本当はこの世に誰も存在しないんじゃないかという懐疑心なんかも思い起こさせました。とても深いところに誘ってくれる作品だと思います。
プロトタイプは導入のみでしたが、このあとはどう展開していきますか。

セラピーというアプローチと、不穏なムードとのミスマッチの魅力

早川:前回の面談で、病院のような設えの中でセラピー的にタスクをこなしていく作品の話をお聞きして、この作品も、アート作品というよりもセラピー的な実験装置としても可能性があるのではないかと感じて、そちらの方向性を探ってみています。
心理学の先生にお聞きしたところ、情動を引き出す実験には対面形式が多く、かつ先ほどのように画像や映像を見せることが多いのだそうです。プロトタイプで、写真に抱いた感情を表す場面がありましたが、あの写真は、実際の実験で使用されるデータセットの中から引用しました。
この後の流れとしては、プロトタイプの部屋の場面と別の複数の場面との行き来を想定していて、別の場面では、見知らぬ誰かと表情でのやりとりができればと考えています。例えば電車の中で電話している女性がいて、そこで嫌な顔をすれば他人、笑顔になれば友人というように、自分の反応で相手との関係性が変化するようなものです。

タナカ:前回の面談では、体験に至らせるための動機づけやモチベーションを保つためのストーリーが必要、と話していましたが、今日体験してみて、それはもはや余計なことのようにも感じました。それくらい作品のムードがいいし、それを壊したくない。このムードがつくれるというのは強みです。ストーリーがなくても、十分物語を味わえる。世界観、空気感だけならもう着地していると思います。
早川さんが探っているセラピーという方向性は、広がりがあってとてもいいですよね。「これ、実はセラピーなんです」と言われたときの驚きがあります。一見、この作品を体験する方がメンタルをやられそうな不穏なムードさえあります。散歩した方がよっぽどよさそうなのに、これがセラピーだなんて驚きですよ。心理学あるいは医療の分野でのこの作品の活用方法や、被験者に期待できる効果をアピールする、そんな見せ方ができたら面白いでしょうね。

山川:自分と対峙するようなこともできたりするんですか?向き合っている自分が勝手に笑うとか。

早川:それも可能ですね。心理学には「エンプティチェア(空椅子)」という、「今の自分」と「自分自身で演じる未来の自分」とが対話する療法があるそうです。今の自分が悩みを吐露し、次に対面する椅子に座りなおして、未来の自分を演じてやりとりをする。今回の作品を含め、自分がこれまで手がけてきた作品とも近いものを感じています。

山川:事前に問診票を書いて提出してもらい、その内容をもとに一人ひとりに応じたアドバイスを生成するといったことも考えられますね。飛び込みでの体験は難しくなりますが。

タナカ:名前を呼ばれたりすると、それだけで違った体験になるでしょうね。

成果発表では、筐体込みでα版のリリースを目標に

筐体案のイメージ / © Nobuhiko Kawahara

早川:システムの大枠や、画面のデザインはかなり見えました。精度の向上は別の方にお願いするつもりですが、今後は表情検知の精度を高めたり、シーンごとの照明の変化などを詰めていきます。照明はPCからコントロールする予定です。
筐体制作は別のデザイナーに依頼しています。演じるということを意識して、舞台のように一段上がるデザインにするつもりです。医療什器のような清潔感のあるイメージで、外からは中の様子がうっすらとしか見えないように壁面には半透明のプラ段のような素材を使う予定です。前回の面談で言っていただいた「広い空間にぽつんとひとり」という雰囲気を出したいと思っています。2月の成果発表では、筐体込みでα版をリリースしたいところです。

タナカ:最終面談、筐体込みで拝見できると嬉しいですね。

山川:場面ごとに照明がコントロールできるなら、それも魅力的です。映像内のシーンと同じ光を浴びることで、単に映像を見ているというだけで終わらない体験になると思います。あと、照明の変化は外へも漏れるでしょうから、光の変化がぼんやり見えて、周囲の関心を引けそうです。

早川:次までに、また色々と試行錯誤してきます。
実際のカウンセリングの方法を引用するために事例を集めています。なにかご存知のものがあれば教えていただけませんか。

山川:少し目的とズレるかもしれませんが、半身が動かなくなってしまった人が、あたかも自分の半身が動いているかのようなイメージを得るために、鏡を使って自分の脳を騙しながら身体機能を回復していく療法があります(V・S・ラマチャンドラン『脳の中の幽霊』より)。他にも、声帯を失った人が代わりに食道を使って発声する「食道発声」という手法があるのですが、その訓練でもやはり鏡を見て声が出せていた頃の自分をイメージしながらやるとうまくいくのだそうです。イマジネーションはアートの分野でよく扱われるものだけれど、医療の分野でも使われているのです。想像力や文化的な視点で、そういった事例をリサーチしてみるといいかもしれません。

―システムの精度向上、内容の突き詰め、そして筐体制作。着々と進めて、最終面談に臨みます。