慶應義塾大学 環境情報学部にて、VIEのイヤホン型脳波計を用いたデータドリブンアートの授業が開講されました。講義は4日間にわたり行われ、VIEメンバーも講師として登壇しました。講義の最終日には、学生たちがグループでイヤホン型脳波計を用いた個性光る作品を発表し、脳波を使った新しいアートの世界を披露してくれました。今回はその最終日の発表会の様子をレポートします。
得体の知れない脳波の存在をダンス・音楽・照明・映像で再現
1組目の作品は「Unknown」をテーマに、得体の知れない脳波に愛着を持っていく様子を即興のダンスで表現するパフォーマンスでした。観客の脳波からリアルタイムで生成した楽曲、照明、映像に合わせて繰り広げられる美しいダンスと、予測のできない不可思議なサウンドのコラボレーションは圧巻でした。サウンドには日常の音が散りばめられて電子音に組み込まれており、水の流れる音や風の音、家族のいびき音までと、ユーモアを交えつつ、自然の音を組み込んでいる「VIE Tunes」(https://vie.style/pages/vie-tunes)との親和性も感じられました。
講師陣の講評では「音の気持ち悪さで生命を感じられ、ダンスの美しさとの対比が素晴らしい」「たくさんの観客が脳波計をつけて、脳波の合唱のようになったら面白そう」などの声があがりました。ダンス、音楽、照明、映像がバチっと一体になる瞬間の感動と興奮は観る人の心を魅了し、それがリアルタイムで繰り広げられている神秘さに惹きつけられる作品でした。
脳波のパターンに応じて言葉を出力
2組目は、登録してある300個の単語を脳波で選択・繋ぎ合わせ、文章として出力するという作品でした。脳波に閾値を設け、その値を超えるか否かで文字をピックアップする法則をランダムに変える仕組みで作られていました。この作品の面白さは、作者の言葉に対する思いが細部に込められているところで、発表者である蛯名さんは「言葉は感情のような曖昧なものでも、それにラベルを付けてカチッとしたものにする手段だと思う。自分はその言葉の特性があまり好きではない。だからこそ曖昧なものを曖昧なままにしておく、分かりにくさを尊重する作品を作りたかった」と語り、文字の見えにくさや複雑さで、そのような脳の内部を表していました。
講評では「情報が溜まっていくことで、その人特有の言語が分かったら面白そう」「一見とっつきにくい脳波を言語と結びつけたことで、分かりやすいものになっていたのが良かった」との声があがりました。「曖昧なもの」を曖昧ではない「言葉」でカウンターする発想はとても独創的で、完成された文章の読み上げや日本語での作成など、今後のアップデートに期待の高まる作品でした。
脳内の残響を観客と共有
3作品目は、ライブやコンサートの後に感じる脳内の残響に焦点を当て、その音を観客と共有するという生パフォーマンスでした。人の歩く音やピアノの音を自身の脳波でリアルタイムに動かし、音だけに集中する空間が形成され、本来自分の中だけで起こる残響を、音として外に放出するという非現実的な空間は、どこか癖のある気持ちよさがあり、観客を虜にしました。
講評では「音楽を聴いた後ってこんな感じだよなというのを、まさに感じられた」「残響は物理的なものだけではなく、経験的な意味もあるのだと気付かされた」との声があがりました。また音だけに集中させる演出も斬新で、「映像と合わさるとどんな効果が生まれるのか楽しみだ」という期待の声も多く見られました。一人の残響が共有され、その音が自分の中で響く残響とコラボされて、新たな残響というサウンドをそれぞれが脳内で感じる、新しい音楽の楽しみ方を教えてもらいました。
植物の生命を音で表現
4作品目は植物に流れる生体電位を音で出力し、植物が生きていることを感じて、自分が植物に近づいていくというオリジナリティに溢れた作品でした。発表者の新美さんは、「植物と共演するシンセサイザー」を用いて、普段から公演を行っていますが、植物が出した音を結局は人間が好みのサウンドに修正しているから、植物の意思を捏造しているのではないかと、ジレンマを抱えていました。そこで自分自身が固定された状態で、植物の音を聞いて生まれる脳波で、さらに音楽を作っていくことで、植物に近づくことを表現しました。
講評では「今まで自分が抱えていたジレンマをテーマに選んだのが良かった」「自分が植物にやってきたことをされる（水をかけられるなどの）パフォーマンスも見てみたい」などの声が上がりました。新美さんは「自分が望んでいない音が出た瞬間があり、少し植物に近づけた気がして楽しかった」と満足気に語る一方、「これも自分がマッピングした上でのサウンドが流れており、ジレンマはまだ消えていない」と、アップデートへの意気込みをみせてくれました。
人間の内なる美しさを鼓動と脳波で表現
最後の作品は、人工弁の音と心臓の音を対比で描き、人間の体の中に持つ美しさを音声、映像、照明で表現するパフォーマンスでした。人工弁の音はチクタクと時計のような音が鳴ります。その音を生で聞いた感覚が忘れられず、アートにしようと共鳴した4人が集結しました。前半は心臓の鼓動の音と人工弁の音の対比を描き、後半は脳波をビジュアライズした謎めいたサウンドが会場に響き渡りました。
講評では「サウンドをうまく視覚に落とし込むことができていた」「説明がなくても何を作りたいのかがしっかりと伝わってきた」との声が上がりました。心臓の音は、激しい音でありつつ、どこか落ち着きを感じる特徴を持っており、意識していないところで人間が感じている内なるリズムが表現されていることを感じました。音響技術だけでなく映像も圧巻で、3DCGで作成された心臓や脳をスキャンしたような画像など、次々と予測不可能な展開が起こり、心動かされる作品でした。
「遠くへ行きたければみんなで行け」を実感
全作品の発表終了後、講師陣の評価を集計し、表彰式が行われました。VIE賞には脳波と言葉の発展性が評価され、脳波で文を出力する作品が選ばれました。Roland賞には音に焦点を当てた残響を題材にした作品、テクニカルサポート賞は植物の音を奏でる作品、Daito Manabe特別賞は脳波に合わせた即興ダンスパフォオーマンスを披露した作品が選ばれました。そして会場全体の投票で選ばれたDaito Manabe最優秀賞は、人工弁と心臓の音の対比を描いた最後の作品が選ばれました。
授賞式では、「このメンバーが集まったから一人一人の強みを活かして良い作品を作ることができた」「早く行きたければ一人で行け、遠くへ行きたければみんなで行けを実感した」「短期間で実装してアウトプットできたことは自信に繋がった」など、授業を振り返り、新たなことに挑戦したことで自信を身につけた学生さんたちの誇らしい表情が印象的でした。そしてその彼らの成長にVIEも関わることができ、より一層社会にニューロテクノロジーの魅力を伝えていきたいという思いが強まりました。
