Design interactive experiences for visionOS

ハイライト

この Session は Apple 自社制作の Encounter Dinosaurs（恐竜体験）を主線とし、Apple Vision Pro 上でインタラクティブナラティブ体験を設計する実践知を共有します。インタラクティブナラティブは映画の叙事能力、ゲームのインタラクティブ性、ライブパフォーマンスの没入感を一体にします。観客は受動的な観察者ではなく、物語の参加者です。

主要内容

visionOS イマーシブコンテンツを作る人はすぐに問題に直面します。精巧な空間体験を設計しても、ユーザーがヘッドセットを装着すると何をすればいいかわからず立っている。Apple デザインチームも Encounter Dinosaurs で同じ轍を踏みました。初期テストでは多くの参加者が受動視聴体験だと思い、恐竜とインタラクションできることに気づきませんでした。

根本原因は、空間インタラクションが前例のない新しいメディアであること。映画には百年の視聴習慣、ゲームには数十年のコントローラー操作慣行があるが、Vision Pro の前に立って何をすべきか、誰もユーザーに教えていない。Apple の解決策は 3 層。まず明確な視覚ガイドで「インタラクションできる」と伝え、次に暗黙の手がかり（蝶が近づく、恐竜がこちらを見る）でユーザーが自発的に手を伸ばすよう誘い、最後に一貫したインタラクションルールを確立してユーザーが期待を形成。この 3 層の段階的アプローチが Session のコアフレームワークです。

Session は 3 テーマを展開。Setting（ストーリー世界をユーザーの空間に持ち込む）、Interaction（インタラクションでナラティブを推進）、Accessibility（すべての人が参加できるようにする）。各テーマに Encounter Dinosaurs の実際の設計判断を添付。大きな部屋ではポータルが 4 メートル幅に展開、小さな部屋では自動的に曲がってユーザーを囲む、飛行機では固定距離で Passthrough を暗く——すべて Apple チームの反復的な実機テストから得た方案で、理論推論によるものは一つもありません。

詳細

Setting：ストーリー世界をユーザーの空間に置く

visionOS は 3 つのコンテンツ形態を提供。Window、Volume、Immersive Space。1 つを選ぶか組み合わせ可能（02:22）。Encounter Dinosaurs はカスタム RealityKit ポータルを選択し、ユーザーの世界と白亜紀を境界で隔てました。ポータルの矩形形状は映画やテレビ画面を連想させ、心理的ハードルを下げます（03:00）。

コンテンツ配置について、visionOS の Window と Volume は自動配置。Immersive Space の原点はデフォルトでユーザーの頭部位置。ただし Encounter Dinosaurs のようなカスタムコンテンツを作る場合、コンテンツの出現方法を自分で決める必要があります。Apple は ARKit の Scene Understanding と頭部位置トラッキングを利用し、ユーザーがオープニング字幕を見ている間にバックグラウンドで部屋をスキャンし、ポータルの最適配置を自動検出（04:01）。

空間適応が最重要。Apple は大・中・小 3 種類のシーン向けに異なる方案を設計（04:52）:

大空間：ポータルが壁に沿って展開。最大 4 メートル幅。
中程度の空間：ポータルが曲がってユーザーを囲み、壁貫通による没入感の破壊を回避。
小空間/乗り物：ポータルをユーザー前方の一定距離に固定し、Passthrough を暗くして没入を維持。

Rose が繰り返し強調した点：「everything changes once you’re testing on device」（05:54）。画面上で良さそうな方案がヘッドセットではまったく合わないことも、その逆も。実機で頻繁にテストする必要がある。

Interaction：インタラクションでユーザーを物語に引き込む

インタラクション設計の核心矛盾は、ナラティブ制御とユーザー自律性のバランス。James の言葉：「The best interactive stories are a harmony of storytelling and interactive agency」（06:41）。

ユーザーにインタラクションを発見させるガイド：初期テストでユーザーがインタラクションできることに気づかないことが判明。チームはオープニング字幕後にガイドグラフィックを追加し、「これらの生物はあなたを見ており、反応する可能性がある」と明確に告知（07:35）。その後、蝶キャラクターで暗黙的ガイド——蝶がユーザーに向かって飛び、目の前を旋回。ユーザーは自然と手を伸ばし、蝶が指に短時間止まる（08:05）。

キャラクターインタラクション設計：空間キャラクターを設計する際、視線接触、距離感知、手と体のインタラクションでキャラクターを「生きている」ように（08:54）。子恐竜 Izzy は子犬・子猫のインタラクション方式を参考——チームはジェスチャーと動作検出システムを開発し、Izzy がユーザーの手を認識して嗅ぎ、ユーザーが撫でて信頼を築ける（09:55）。大型肉食恐竜 Raja は攻撃性ではなく好奇心で恐怖を低減——ユーザーの頭と手の動きを追跡。ユーザーが近づくと後退、ユーザーが後退すると接近。近づきすぎると噛む（10:20）。

インタラクションルールの一貫性：チームは 1 つのルールを設定——インタラクションはキャラクターがポータル境界にいるか、ユーザーの空間に入ったときのみ発生。キャラクターはユーザーを見つめる必要もあり、視線接触と近距離が自然に「インタラクション可能」を暗示。キャラクターの注意が他の事物に向くと、ユーザーは自然にインタラクションを期待しない（11:20）。一貫性は没入維持の鍵。蝶と子恐竜が手のジェスチャーに応答するのに大型恐竜が突然応答しなければ、ユーザーは体験が壊れたと感じる（12:40）。

空間オーディオ：各キャラクターに複数の空間オーディオソース——足と尻尾は全方向エミッター、口は指向性エミッター。音楽はサラウンドミックスで、ポータル開閉前後に注意を誘導（13:22）。オーディオは注意誘導にも使用。Izzy の鳴き声は裂け目から、Raja の足音は左から、誘導時の Isisaurus の鳴き声はユーザー背後から（13:56）。

Accessibility：すべての人が参加できるように

Rose の核心見解：インタラクティブ体験を設計するなら、オーディエンスを中心に設計する必要がある（14:57）。

ユーザーの選択を尊重：チームは当初、特定の方法で体験させたかった。しかし指定すればするほど体験は不自然に。チームメイトが自発的に子恐竜とインタラクションを試すのを観察すると、より多くの可能性が開いた（15:31）。インタラクションしないことも選択——映画式体験を好むユーザーは座って物語全体を見ても、完全なナラティブアーク（葛藤、クライマックス、結末）を得られる（16:28）。ユーザーのインタラクションが多いほど恐竜の行動変化も大きく、物語の結末さえ変わる可能性がある。

感情のリズム：持続的な高強度インタラクションはユーザーを心身ともに疲弊させる。Encounter Dinosaurs は Raja シーケンスで高潮アクションと低潮休息を交互に配置（17:59）。

アクセシビリティ設計：visionOS はクローズドキャプション、VoiceOver ナビゲーション、オーディオ描述、Dynamic Type を提供。Encounter Dinosaurs は高度な音視覚体験のため、オーディオ描述が必須——描述内容はユーザーの選択に応じて動的調整（18:42）。身体運動を必要とするインタラクションには、代替インタラクションシステムを設計。ゲームのようなモーダルメニューで、システムジェスチャー、VoiceOver、Dwell などの支援機能に応答。ユーザーが「Be friendly」または「Be forceful」を選択すると、恐竜は実際の動作と同じ反応（19:09）。2 つのインタラクションシステムはいつでも切り替え可能——代替システムを有効にしても、恐竜は依然としてユーザーを見て動作に反応する。

重要ポイント

やること：空間体験に「ガイド付き発見」フローを設計——まずユーザーにインタラクション可能と明確に伝え、次にキャラクターや物体の動きと距離で手を伸ばすよう誘う。価値がある理由：Apple の実測データでは、ガイドなしでは大量のユーザーが受動視聴と思い込み、インタラクション率が極めて低い。始め方：体験の最初 60 秒以内に小さく友好的なインタラクティブオブジェクト（蝶など）を配置し、ユーザーに能動的に近づき、動きの軌跡で視線と手の動きを誘導。
やること：イマーシブコンテンツ向けに大・中・小 3 種類の空間適応方案を準備し、ARKit Scene Understanding で自動選択。価値がある理由：ユーザーはリビング、公園、飛行機などで Vision Pro を使用。大空間のみの設計は小空間で壁貫通し、没入を破壊。始め方：ARKit Scene Understanding API で利用可能空間サイズを検出し、閾値でレイアウトモードを切り替え。小空間モードではコンテンツを曲げるか Passthrough を暗くする。
やること：カスタムジェスチャーインタラクション向けに VoiceOver と Dwell をサポートする代替入力システムを設計。価値がある理由：Encounter Dinosaurs の核心インタラクションは身体運動が必要。代替手段がなければ一部ユーザーは完全に参加不可。始め方：ジェスチャーインタラクションを「意図」（「友好」/「強引」など）に抽象化し、モーダルメニューで意図を選択。キャラクターはジェスチャーと同じ反応。ジェスチャーシステムを並行オプションとして保持し、いつでも切り替え可能。
やること：ナラティブ体験で一貫したインタラクションルールを確立し、キャラクターの注意方向でインタラクションウィンドウを暗示。価値がある理由：ルール不一致は没入を破る——最初 3 キャラクターがジェスチャーに応答するのに 4 番目が突然応答しなければ、ユーザーは体験がバグったと感じる。始め方：明確なルール境界を設定（例：「キャラクターがポータル境界にいてユーザーを見ているときのみインタラクション可能」）。キャラクターの注意が他に向いているときは自然にインタラクションを一時停止し、ユーザー視線内に戻ったら再開。