Open Studio #1｜AIと映像の実験室

映像とテクノロジーの掛け合わせを得意とするThink & Craft/電通クリエーティブX。 2024年7月18日~20日にR&Dの展示会「AIと映像の実験室」を開催しました。 本展示では、AIと映像を掛け合わせることでどんな新しい表現が生まれるかの実験にチャレンジしています。 視覚、聴覚、触覚、感情、あなたの五感に響く実験を見つけてみてください。

Eyes Of Artists

人だらけの駅。散らかったデスク。 なんてことのない普段の景色も、 見方ひとつで変わってくるもの。 もしも、モネの目でこの景色を見たら。 世界が印象として伝わることで、 些細な出来事なんて気にならなくなるかもしれない。 もしも、ピカソの目でこの景色を見たら。 世界が三次元的に見えることで、 見えていなかった側面に気づくかもしれない。 《Eyes of Artists》 これは、普段の景色に新しい見方を与えるグラス。 あなたは、世界をどのような目で見てみますか。

画像生成AIの使い方の例として、使用するインターフェースを変更する事で新しい体験を作る事にトライしました。 インターフェースを誰でも馴染みのある虫眼鏡の形にする事で、体験者自らが対象物を探して、発見ができるような体験にしています。端末にはRaspberry Piを利用し、カメラ映像の送信と生成画像の受信を行っています。実際の画像生成はネットワークに繋がっているPCで処理しています。またボタンを押す事でプロンプトを切り替える事ができます。

生まれかわるゴミ箱

これは、捨てるほどに、 新しい何かが生まれるゴミ箱。 ビニール袋が、海になったり。 ペットボトルの蓋と紐が、鳥の巣になったり。 ゴミの形や色をAIが認識し、 そこから連想するものに変換します。 意味がなくなったものに、 最後に命が吹き込まれて。 ちょっとめんどくさいゴミ捨てが、 いつもよりも楽しくなる。 あなたは、ゴミで何を生み出しますか。

ゴミ箱内部の映像からOpenAIのGPT-4oが解釈し画像生成AIを使い別のモチーフへと変換。 リアルタイムにゴミを捨てることで次々に画像が変化していくコンテンツとなっています。

AI RECIPE MAKER

中途半端に残ったパプリカ。 賞味期限ギリギリのお肉。 え、実家から大量の仕送りがきた？ 大丈夫。私にお任せあれ。 レシピを考えるって地味に面倒。 いつも同じメニューになりがち。 食材を渡してくれれば、素敵な料理をご提案します。 意外な出会いがあったり、 意外すぎて受け入れられなかったり？ いつもとちょっと違う食卓をお楽しみください。 あ、もし作ったら、感想を教えてくださいね。 （私は食べることができないので…）

Open AIのGPT4-4oで食材が写っている写真からレシピのタイトル、説明、見た目、食材と分量、手順を考えるように指示しています。タイトルと見た目からさらに画像生成AIのDall-E-3で完成した料理のイメージ画像を作成しています。

ブーバ・キキの庭

「ブーバ」や「キキ」という文字列に、 あなたはどんなイメージを持ちますか？ 「ブーバは大きくて柔らかそう」「キキはトゲトゲ光ってそう」 私たちは、意味がないただの文字列にも、形や質感を連想します。 しかもそのイメージは、言語が異なる人間同士でも、似たものになるのだとか。 では、身体感覚を持たないAIは、 どんなイメージを連想するのでしょうか。 《ブーバ・キキの庭》 これは、あなたが入力した文字列から、 AIがイメージを生成、それらが集まった庭です。 想像通り？ それとも予想外？ 文字と形の紐付けにおける人間とAIの差を楽しみながら、 一緒にイメージを作ってみてください。

本コンテンツは、人間の感じる音と図形との共感覚をAIも取得しているのかという事をテーマにし、体験コンテンツとして制作しています。 まず、人間の作った図形をChatGPTに読み込ませ、形状から感じるイメージで名前を付けてもらいました。すると、ブーバ・キキ効果に人間が感じる感覚と近いものを出力してくれました。これを使えばテキストから感じる形状の画像を生成する事ができるのではないかという事から企画をして行きました。 実装方法としてはChatGPTの考えたネーミングと、図形をプロンプトテキストに変換したデータを用意。それらを追加データセットとして参照し、入力したテキストに対してプロンプトを出力するGPTを用意。 演出面では画風やアニメーションもアナログ感をもった画像にするために、折り紙などのテクスチャを追加学習させ画像生成をし、アニメーションをコマドリ風に動かすことに挑戦しています。

独白

本作品は、AIとして集積した世の中の意見や事実を、フリースタイルラップを用いて世の中の"声"に変換する試みです。 想いを即興で言葉にするフリースタイルラップ。一般論の集合体であるAIをラッパー化することで、世論に隠れた内なる想いを発見することができるかもしれません。 協力 : valknee

rapperのvalknee氏協力のもと、提供いただいた既存楽曲のボーカルデータのうちテキストラベリングできた約20分程度を使って、その抑揚も含めたText-to-Speech音声モデルを作成。 リリックは日本語LLMをローカルで動かしています。初期値としてキーワードとLLMからサンプリングした1小節分のリリックを渡し、キーワードを含んだ新たなリリックを推論します。その際、このキーワードと韻を踏むことができる単語も同時に推論。これが次のステップでのキーワードになります。生成されたリリックとキーワードを元に連続的に生成し続けることができますが、ユーザー入力としてキーワードを指定することも可能になっています。生成されるビジュアルはUnreal Engineを用いて音声と同期した顔モデルを生成、それをもとにバーチャルタレント aiuのビジュアルに歌唱させています。

連れてって！おさんぽペンギンズ

スマートフォンやタブレットでQRコードを読み込み、 カメラを起動して平面に特定のマークを指で描くと、 WebAR上に「おさんぽペンギンズ」が登場します。 さらに指で線を描くと流氷でできた道が登場。 その道をペンギンズたちが楽しそうにお散歩します。 まるで自分が描いた線に命が吹き込まれたような 感覚を味わうことができる体験を提供します。 たくさん描いて、どんどんおさんぽしよう！

WebARの利点は、ユーザーがアプリをインストールする必要がなく即座にコンテンツを体験できるところにあります。しかし、ブラウザ上で実行するWebARは、アプリよりも表現の制約が多いことが弱点です。本展示はWebARでどこまでの機能を実装できるかという挑戦でもあります。 主な実装ハードルは三つ。「平面を検知すること」、「指で描いたマークを検知すること」、「手を検知すること」。平面検知には、WebARの開発プラットフォームである8thwallを使用しました。指で描いたマークを検知するために、TensorFlow.jsを使用して機械学習を行いました。手の検知には、MediaPipeのHand landmarks detectionを使用しました。 これらの三つの機能をリアルタイムで単純に実行すると、処理が重くなりモバイルデバイスではfpsが落ちてしまいます。そこで、通常シングルスレッドであるJavaScriptをマルチスレッドで実行できる「WebWorker」を活用しました。AR実行環境とTensorFlow.js実行環境とMediaPipe実行環境をそれぞれ別のスレッドで実行することで、モバイルデバイスでもfpsを落とすことなく快適に体験を実装することができました。

AIと映像の実験室

「AIが考えた映像カメラ」をイメージして、AI生成ツールを用いてポスターを作りました。 異なる質感を組み合わせながら生成したり、生成後の画像にphotoshopで加工するなど、AIの持つ偶然性と人間による手作業を、実験しながら組み合わせたビジュアルです。