ボイスプレイヤーとして近年、NTTインターコミュニケーション・センター [ICC]や山口情報芸術センター[YCAM]をはじめとして精力的にクリエイションを行う細井美裕さん。今回採択された『ON PAROLE』は、音によって鑑賞者に空間を認識させる新たな取り組み。視覚情報が奪われた空間で鑑賞者から発せられた音に、仕込まれたインパルスレスポンス(機材や音響空間の持つ、音の特性をデータにしたもの)によるフィードバックを行うことで、聴覚を用いた実験的な空間を創出します。

アドバイザー: タナカカツキ(マンガ家/京都精華大学デザイン学部客員教授)/山本加奈(編集/ライター/プロデューサー)

視覚情報から「仮釈放」され、音から空間を想像する

細井美裕(以下、細井):私は普段から音の作品をつくっていますが、音そのものよりも、音が共鳴する空間について興味があります。今回は、反響音を用いた、室内の架空の空間(以下、響空間)を表現し、鑑賞者には視覚情報をできるだけ与えず、音だけで形づくられた空間を歩いてもらいたいと思っています。
響空間を形づくる要素として、主にインパルスレスポンス(以下、IR)という反響音データを用います。反響音データは、スイープ測定の方法でこれまで収録してきましたが、今回は収録したデータそのままを使用するのではなく、ある程度空間が想像できるようにパラメータを調整したものも使用する予定です。スイープ測定では可聴域の音を低音から高音に徐々に変化する「スイープ音」と呼ばれる音源を素材とします。例えば洞窟の反響音を録る場合、洞窟の中でスイープ音を鳴らし録音します。すると、反響も含んだスイープ音を録ることができます。コンピュータ上で、収録したスイープ音から元のスイープ音を引くと、反響による周波数ごとの変化を数値化できます。そのデータを用いると、例えば鑑賞者が展示室を歩く足音に洞窟の反響音を加えることで、あたかも洞窟の中を歩いているように感じられる、という仕組みです。その要領で、ひとつの大きな展示室に5〜6エリア程度、それぞれ違う形状や素材の響空間をつくり、そこを歩いて巡ってもらえたらと考えています。
 
近年、山口情報芸術センター[YCAM]で作品制作をしたのですが、その際にもさまざまな場所でIRの採取実験を行いました。マンホール下の空間など人が入れないような狭い空間でもマイクとスピーカーさえ入れば音の採取はできるので、『不思議の国のアリス』のように鑑賞者の認識するスケールを意図的に狂わせることもできるのではと思っています。聴覚が持つ空間認知のパワーによって鑑賞者の想像力が掻き立てられ、足がすくんでしまったり、つい声を上げてしまったりといったことを引き起こせたらと思っています。
タイトルの「ON PAROLE」は「仮釈放状態」を意味するのですが、普段、否が応でも入ってくる視覚情報ありきの状態を、想像力が「監禁状態」にあると仮定し、その視覚情報をなくすことで、想像力が仮釈放(on parole)される状態をつくりたいと思っています。また、鑑賞者の身体はデバイスやシステムに縛られることになりますが、頭の中だけは解放されるという、相反する状況にも面白みを感じています。

エンジニアとの共同開発の中で響空間のイメージを具体化する

細井:具体的な会場候補はいくつか挙がってはいるものの、まだいずれも交渉中です。「第23回文化庁メディア芸術祭受賞作品展」(日本科学未来館)でつくったような、壁やスピーカーが見えない、音以外何もない暗室をイメージしていますが、歩ける程度のスペースだけ、床が薄暗く照らされている状態が理想的です。加えて、今回は鑑賞者の足音をリアルタイムで採取し、エリアごとに違うIRをかけて響空間をつくるので、床材をエリアごとに変える予定です。
すでに開発チームと共同して進行していますが、彼らと最初にやったのは「暗い」「狭い」など感覚の基準を共有することでした。展示室の暗さのイメージも人それぞれ違うので、その差をなくしておきたかったんです。
今は、YCAMで録ったIRを使い、響空間になりうる音を実験的につくっている段階です。IRやエフェクトをかける前の音源を「ドライ音源」といいますが、砂利の上で足踏みをしているドライ音源を用いて効果的なIRのかけかたを実験しています。まだ仮ではありますが、システム開発を進めるために、いくつかのストーリーを設定して実験しています。例えば、歩いていたら急に床が抜けてマンホールのような筒の中を落ちていき、その先でガラス瓶に閉じ込められてしまう。教会のように天井が高く吹き抜けた空間を歩いていると急に現れる壁や、頭の上に物体が浮いている空間など、模索中です。
また、視覚情報を加えた実験もしています。壁面をVR上に配置し、同じ位置に壁面がある想定で足音にIRをかけてみたのですが、反射的に壁を避けてしまうくらいの効果がありました。
あとは、鑑賞者の動きに合わせてIRをかけるので、位置測位の実験、鑑賞者が身につける無線機器の遅延や音質のチェックをしています。どちらも問題なく進行しています。
 
山本加奈(以下、山本):IRをかけるということですが、鑑賞者はヘッドホンをつけるのでしょうか。どのような装備を纏って体験することになるのでしょう。
 
細井:オープンイヤーのイヤホンをつける予定です。ただそれだけでは低い音はあまり出ないので、空間内にもスピーカーを設置して補強します。
YCAMではヘッドホンを用いたのですが、どうしても鑑賞者はヘッドホンから音が出ているという意識を持ってしまうようでした。オープンイヤーのものであれば、耳を塞ぎませんし、現実の音も聞こえます。実際の自分の足音はそのまま聞こえて、IRがかかった音が残響として追って聞こえる、というイメージです。
もともとはひとり1台、コンピュータを背負うくらいの想定もしていましたが、思った以上に無線の実験がうまくいったので、鑑賞者が装着するデバイスは、足音を拾うためのピンマイクと、オープンイヤーのイヤホンと、IRの受信機の3つになりそうです。時代を追うごとにシステムを更新していって、最終的にイヤリングひとつで体験できるようになれば理想的だと思っています。

没入していく過程を実感するには

タナカカツキ(以下、タナカ):例えばVRでフィットネスやスポーツゲームを身体が汗をかくまでやっていると、最初はわかっていた現実とバーチャルとの境目が徐々にわからなくなってきますよね。VRでの視覚体験にも、そういう没入していく途中経過があるのですが、今回の作品でも、鑑賞者が自分自身の足音を聞きながら進んでいく過程で、歩く身体感覚とつくられた音がどんどんリンクして、後半になればなるほど没入感が増すのではないかと想像します。音で世界を把握できるようになっていく、その変化が実感できると面白そうですね。聴覚の世界でそういう事例はまだあまりないと思うので、その変化がレポートとして残せるとなおよいと思います。
 
細井:YCAMで公演をした際、公演前に「イヤークリーニング」というアクティビティをしました。館内の約10カ所にお客さんを案内して、各所で手を叩いてもらうんです。場所ごとの響きの違いを感じとってもらうことで、耳を日常から公演仕様に徐々に調整する目的で行いました。その際の順番が重要で、響きがわかりやすいところから徐々にニッチな空間に進むことで、耳も徐々に冴えていくように工夫しました。今回も、そういった意識でエリアの順番を考えてみたいと思います。
また、砂利のエリア、次に木のエリアというような変化は足の触感で伝わるので、それを変化の基点として徐々に感覚が研ぎ澄まされることは可能なのではと考えています。ただ、視覚的には統一させたいので、砂利などもすべて紺か黒に統一するつもりです。
 
山本:体験者はどういう気づきがあるでしょうね。
 
細井:YCAMでの公演後には、自分のいる空間の広さを考えたり、壁や床の材に意識がいくようになったりしたという感想が多かったです。ただ、いつまで「釈放」状態でいられるかは鑑賞者次第で、3秒で終わってしまう人もいれば、その後30年、この体験が残る人もいるかもしれないので、タイトルは「仮釈放(on parole)」としています。そういう意味では、ちょっと挑発的なタイトルかもしれません。
 
山本:バイアス剥がしができるといいですよね。自分を縛っているものに気付いたり、解放されたりといった体験になることを期待しています。体験の時間はどれくらいを考えていますか。
 
細井:リミットを設けることはしたくないのですが、長くても15分程度を想定しています。というのは、体験型のメディアアート作品に15分以上かけることってあまりないのではないかと思っていて……。
 
山本:かなり集中力を要する作品だと思いますが、脳科学者の見解によると、一般の人が集中した状態で脳が変容していくまでには、20〜30分程度かかるのだそうです。
 
細井:そうなんですね。私としては、人数制限のみして時間制限は設けずというのが理想的です。自分が鑑賞者なら、長くいたくなると思うので。一度、実験の場にお二方をお招きしたいです。
 
山本:ぜひ体験したいです。
 
タナカ:どこでも行きます!

—次回の面談では、響空間の具体案や会場の選定などについて、進捗状況が報告される予定です。