Sound in Motion 2026

昨年に引き続き、GOO CHOKI PAR との共作「Sound in Motion」の 2026 versionを制作した。文化庁のプロジェクト MUSIC LOVES ART 2026 の一環として、今年は MUSIC AWARDS JAPAN 2026 とコラボし、会場であるTOYOTA ARENA TOKYOにて会場インスタレーションとして展示した。MAJ のシンボルである "THE RUBY" トロフィーをモチーフにしたアクリルケース什器の中で、ダンサーが踊り続ける。

ルビーの中で踊る - 会場インスタレーションという形

昨年の MUSIC LOVES ART 2025 では、リアルタイム姿勢推定によるライブインスタレーションだったが、2026 は MUSIC AWARDS JAPAN の世界観に寄せ、赤いルビー色のトーンへ全面的に組み替えた上で、インタラクションを持たない純粋な映像インスタレーションとして会場に据えた。MUSIC AWARDS JAPAN 2026 の授賞式の場である会場に、トロフィーと同じ "ルビー" の中でダンサーが踊る什器を置くことが、この 2026 version の核にある。

実モーションを骨格に変える - 描画システム

1 セットあたり W128 × H864px の極端に縦長な LED を 3 本（= 3 つのルビー）並べ、各 LED に 3 体ずつ、計 9 体のダンサーを縦に積んだ。入力には 2025 本番で記録したダンスモーションを使い、MediaPipe で骨格を抽出し、OSC で Max を経由して openFrameworks へ流し、GCP のグラフィックパーツをまとった 9 体として描いている。納品は 1920 × 1080@30fps の映像 3 本。レイアウトは「3 体縦並び」「中央 1 体」「1 体を列いっぱいに拡大」の 3 パターンを OSC で切り替えられる構成を採り、トロフィー什器を立体として確認するための 3D 表示モードも併せて組んだ。

生成 AI でダンスを作れるか - 途中まで進めた R&D

この案件と並行して、ひとつのパイプラインを試した。ダンスの要所要所のポーズを生成 AI で作り、その骨格情報だけを繋ぎ合わせてアニメーション素材にできないか、というもの。既存のダンス映像をモーションキャプチャ的に使うと著作権・パブリシティ権が常につきまとう。生成 AI で代替できればそこをクリアにできる、という狙いだった。Luma / Runway / Veo の利用規約とクリアランス要件を比較し、キーフレームとなるポーズ（IGNITION, CHEST POP, ARM HIT, HIGH KICK…）を生成して候補から選ぶところまでは進めた。最終的な品質と尺の制御が本番に間に合わず、納品には載せていない。実モーション駆動で本番を迎え、AI による素材生成は「素材生成・選定まで」の R&D として残した。著作権リスクなく扱えるダンス姿勢アニメーションのストックを作るパイプラインは、引き続き追っている。

• Visual Programming / 描画システム設計・実装（openFrameworks）
• 骨格抽出パイプライン（MediaPipe → OSC → Max → oF）
• LED 解像度に合わせた 9 体 3 セットのレイアウト・ルビー色トーン設計・本番映像書き出し
• 生成 AI ダンス → ボーン化パイプラインの R&D（素材生成・選定まで）

The 2026 version of "Sound in Motion," again created with GOO CHOKI PAR. As part of the Agency for Cultural Affairs project MUSIC LOVES ART 2026, this year it was made in collaboration with MUSIC AWARDS JAPAN 2026 and exhibited as a venue installation at TOYOTA ARENA TOKYO. Inside acrylic-case fixtures modeled on "THE RUBY" - the trophy that is the symbol of MAJ - the dancers keep moving.

Dancing Inside the Ruby - As a Venue Installation

Last year's MUSIC LOVES ART 2025 was a live installation driven by real-time pose estimation; for 2026, retuned toward the world of MUSIC AWARDS JAPAN and rebuilt around a deep ruby-red palette, it was placed in the venue as a purely non-interactive video installation. Setting it at the venue of the MUSIC AWARDS JAPAN 2026 ceremony, with dancers moving inside the same "ruby" as the trophy itself, is what this 2026 version is really about.

Turning Real Motion into a Skeleton - The Rendering System

Each set stacks three dancers onto an extremely tall LED of W128 × H864px, with three of those LEDs - three rubies - side by side, for nine dancers in all. The input is dance motion captured at the 2025 show: MediaPipe extracts the skeleton, OSC routes it through Max into openFrameworks, and the figures are redrawn wearing GCP's graphic parts. Delivery was three video files at 1920 × 1080@30fps. The layout switches over OSC between three patterns - three stacked, a single centered figure, and one dancer scaled to fill the whole column - alongside a 3D display mode built to preview the trophy fixtures as solid objects.

Can Generative AI Choreograph? - An R&D Left Mid-Way

Running in parallel was an experiment: generate the key poses of a dance with generative AI, then stitch together only their skeletal data into animation material. Using existing dance footage as motion capture always drags copyright and publicity rights along with it; replacing it with AI-generated material would clear that. Comparing the terms and clearance requirements of Luma, Runway, and Veo, the work reached the point of generating key poses (IGNITION, CHEST POP, ARM HIT, HIGH KICK…) and selecting from the candidates. Control over final quality and timing didn't land in time for the show, so none of it shipped. The installation went live driven by real motion, and the AI generation stayed an R&D effort that got as far as "generate and select." The pipeline for a copyright-clean stock of dance-pose animation is still being chased.

Scope of Work

• Visual programming / rendering system design and implementation (openFrameworks)
• Skeleton extraction pipeline (MediaPipe → OSC → Max → oF)
• Nine-dancer, three-set layout for the LED resolution, ruby tonal design, and final video export
• R&D on the generative-AI-dance → bone-animation pipeline (through generation and selection)