Transcentdance - SXSW2023

Transcentdance-匂いを可視化するプロジェクト

体験者が匂いを選ぶと、その成分をセンサーが読み取り、AIが識別した匂いに応じて、リアルタイムレンダリングでキャラクター化された「匂い」がAR上で踊るというコンテンツをSXSW2023に出展。瞬間的な情報ゆえに可視化することが難しいとされている匂いに時間と空間の情報を付加し、動きのあるダンスと結びつけた。

匂いを言語化してビジュアライズ

匂いは刹那的な情報であり、言語化することが極めて難しい情報であるため匂いのビジュアル化に納得感を持たせるかが課題となっていた。ビジュアライズのプロセスとして、6つの検体を選定し、匂いの専門家である官能評価士にそれぞれの匂いを50以上のキーワード（「甘い」「爽やかな」など）の強弱を評価してもらい、検体がどんな匂いであるか言語化を実施。官能評価された言語情報をもとに、デザイナーがイメージを膨らませて、匂いをマテリアルとしてデザイン。ダンスについては、コレオグラファーになんの匂いかを伝えずに、匂いの言語イメージとあわせて匂いを嗅いでもらい、その時感じたインスピレーションから即興でダンスを踊り、モーションキャプチャーでダンスを収録。最終アウトプットとして、センサーで判定された匂いを匂いのマテリアルとダンスのモーションデータを組み合わせてUnityでリアルタイムレンダリングで描画を行った。

センシングについて

レボーン社の匂いセンサーをつかって計測、センシングしたデータを識別AIで事前学習でつくったモデルデータを元にどの匂いと近いかを判定。オートサンプラーをつかって帰宅前に学習データの取得を仕込み、翌日以降取得データからモデルをつくってテストを繰り返した。気温や湿度で測定結果が毎回変わるため、オースティンに入ってから設営日に現地で計測を行いモデルデータを作り直して展示に臨んだ。

データ取得に用いたオートサンプラー

計測データのマッピング