Design interactive experiences for visionOS

Highlight

这场 Session 以苹果自家制作的 Encounter Dinosaurs（ encounter 恐龙体验）为主线，分享了在 Apple Vision Pro 上设计交互式叙事体验的实战经验。交互式叙事把电影的叙事能力、游戏的互动性、以及现场演出的沉浸感合为一体。观众不再是被动的观察者，而是故事的参与者。

---

核心内容

做 visionOS 沉浸式内容的人很快会遇到一个问题：你精心设计了一个空间体验，用户戴上头显后却站在那里不知道该干什么。苹果设计团队在做 Encounter Dinosaurs 时就踩过这个坑——早期测试中，很多参与者以为这是一个被动观看的体验，完全没有意识到自己可以和恐龙互动。

问题的根源在于，空间交互是一个全新的媒介，用户没有任何先例可循。电影有百年的观影习惯，游戏有几十年的手柄操作惯例，但站在 Vision Pro 面前该怎么做，没人教过用户。苹果的解决方案分三层：先用明确的视觉引导告诉用户”你可以互动”，再用隐式线索（蝴蝶飞近、恐龙看向你）吸引用户主动伸手，最后建立一致的交互规则让用户形成预期。这三层递进，构成了这场 Session 的核心框架。

Session 围绕三个主题展开：Setting（如何把故事世界带入用户空间）、Interaction（如何用交互推动叙事）、Accessibility（如何让所有人都能参与）。每个主题都配有 Encounter Dinosaurs 的真实设计决策作为案例，比如传送门在大房间展开 4 米宽、在小房间自动弯曲环绕、在飞机上固定距离并调暗透视——这些全部来自苹果团队反复真机测试后得出的方案，没有一条是理论推演。

详细内容

Setting：把故事世界放进用户的空间

visionOS 提供三种内容形态：Window、Volume、Immersive Space。你可以选一种，也可以组合使用（02:22）。Encounter Dinosaurs 选择了自定义 RealityKit 传送门（Portal），把用户的世界和白垩纪隔开一道边界。传送门的矩形造型让用户联想到电影和电视屏幕，降低了心理门槛（03:00）。

内容放置方面，visionOS 的 Window 和 Volume 会自动定位，Immersive Space 的原点默认在用户头部位置。但如果像 Encounter Dinosaurs 那样创建自定义内容，你需要自己决定内容如何出现。苹果利用 ARKit 的场景理解（Scene Understanding）和头部位置追踪，在用户看开屏字幕时后台扫描房间，自动找到传送门的最佳放置位置（04:01）。

空间适配是重中之重。苹果为大、中、小三种场景设计了不同方案（04:52）：

• 大空间：传送门沿墙面展开，最大可达 4 米宽。
• 中等空间：传送门弯曲环绕用户，避免穿墙破坏沉浸感。
• 小空间/交通工具：传送门固定在用户前方一段距离，同时调暗透视（Passthrough）维持沉浸。

Rose 反复强调的一点：“everything changes once you’re testing on device”（05:54）。你在屏幕上觉得好的方案戴上头显可能完全不对，反之亦然。必须频繁在真机上测试。

Interaction：用交互把用户拉进故事

交互设计的核心矛盾是叙事控制和用户自主权的平衡。James 的原话：“The best interactive stories are a harmony of storytelling and interactive agency”（06:41）。

引导用户发现交互：早期测试发现用户不知道可以互动，于是团队在开屏字幕后添加了引导图形，明确告知”这些生物能看到你，并可能对你做出反应”（07:35）。之后用蝴蝶角色做隐式引导——蝴蝶飞向用户、在面前盘旋，用户自然会伸手，蝴蝶就会短暂停在手指上（08:05）。

角色交互设计：设计空间角色时，可以用眼神接触、距离感应、手部和身体交互让角色”活”起来（08:54）。小恐龙 Izzy 参考了幼犬幼猫的交互方式——团队开发了手势和动作检测系统，让 Izzy 能识别并嗅用户的手，用户可以抚摸她建立信任（09:55）。大型肉食恐龙 Raja 则用好奇心而非攻击性来降低用户恐惧——他追踪用户的头部和手部运动，用户靠近他就后退，用户后退他就逼近，推得太近他会咬（10:20）。

交互规则的一致性：团队设定了一条规则——交互只发生在角色处于传送门边界或进入用户空间时。角色还必须注视用户，眼神接触加近距离自然暗示”可以互动”。当角色注意力被其他事物吸引时，用户自然不期待交互（11:20）。一致性是维持沉浸的关键：如果蝴蝶和小恐龙都可以用手互动，但大恐龙突然不响应手势，用户会觉得体验坏了（12:40）。

空间音频：每个角色都有多个空间音频源——脚和尾巴用全向发射器，嘴巴用定向发射器。音乐用环绕混音，在传送门打开前和关闭后引导注意力（13:22）。音频还用来引导注意力：Izzy 的叫声从裂缝里传来，Raja 的脚步声从左边响起，被引诱时 Isisaurus 的叫声从用户背后传来（13:56）。

Accessibility：让所有人都能参与

Rose 的核心观点：如果你在设计交互体验，必须围绕受众来设计（14:57）。

尊重用户选择：团队一开始想让用户按特定方式体验，但越是指定，体验越不自然。观察队友们自发地尝试和小恐龙互动，反而打开了更多可能性（15:31）。不互动也是一种选择——喜欢电影式体验的用户可以坐着看完整个故事，依然有完整的叙事弧线（冲突、高潮、结局）（16:28）。用户互动越多，恐龙的行为变化越大，甚至可以改变故事结局。

情绪节奏：持续的高强度交互会让用户身心疲惫。Encounter Dinosaurs 在 Raja 序列中穿插了高潮动作和低潮休息（17:59）。

无障碍设计：visionOS 提供隐藏字幕、VoiceOver 导航、音频描述和 Dynamic Type。Encounter Dinosaurs 作为高度音视觉体验，音频描述是必须的——描述内容会根据用户选择动态调整（18:42）。对于需要身体运动的交互，团队设计了替代交互系统：类似游戏中的模态菜单，响应系统手势和 VoiceOver、Dwell 等辅助功能。用户选择”Be friendly”或”Be forceful”，恐龙会做出和实际动作一样的反应（19:09）。两种交互系统可以随时切换——即使开了替代系统，恐龙仍然能看到用户并对其动作做出反应。

核心启发

• 做什么：为空间体验设计”引导式发现”流程——先明确告知用户可以互动，再用角色或物体的运动和距离吸引用户伸手。为什么值得做：苹果的实测数据表明，没有引导时大量用户以为体验是被动观看的，互动率极低。怎么开始：在体验的前 60 秒内放置一个小型、友好的交互对象（如蝴蝶），让它主动靠近用户，用运动轨迹引导视线和手部动作。

• 做什么：为你的沉浸式内容准备大、中、小三种空间适配方案，并用 ARKit 场景理解自动选择。为什么值得做：用户可能在客厅、公园或飞机上使用 Vision Pro，只为大空间设计的内容在小空间里会穿墙、破坏沉浸。怎么开始：用 ARKit 的 Scene Understanding API 检测可用空间大小，按阈值切换布局模式；小空间模式下考虑弯曲内容或调暗 Passthrough。

• 做什么：为自定义手势交互设计替代输入系统，支持 VoiceOver 和 Dwell。为什么值得做：Encounter Dinosaurs 的核心交互需要身体运动，如果不提供替代方案，部分用户完全无法参与。怎么开始：将手势交互抽象为”意图”（如”友好”/“强势”），用模态菜单让用户选择意图，角色按意图做出和手势相同的反应；保留手势系统作为并行选项，两种方式可随时切换。

• 做什么：在叙事体验中建立一致的交互规则，并用角色注意力方向来暗示交互窗口。为什么值得做：交互规则不一致会打破沉浸——如果前三个角色都响应手势，第四个突然不响应，用户会觉得体验出 bug 了。怎么开始：设定明确的规则边界（如”角色必须在传送门边界且注视用户时才可交互”），在角色注意力被其他事物吸引时自然暂停交互，回到用户视线内时恢复。

关联 Session

• Bring your iOS or iPadOS game to visionOS — 将现有 iOS/iPadOS 游戏移植到 visionOS 的技术路径
• Create custom environments for your immersive apps in visionOS — 为沉浸式应用创建自定义环境的设计与性能实践
• Create enhanced spatial computing experiences with ARKit — 用 ARKit 构建更丰富的空间计算体验
• Dive deep into volumes and immersive spaces — 深入 Volume 和 Immersive Space 的自定义能力