Explore immersive sound design

Highlight

visionOS 的空间音频系统会根据用户所处物理空间的尺寸和材质自动添加混响，开发者只需将声音放置到三维空间中的特定位置，系统即可实现方向感、距离感和环境感的自然呈现。

核心内容

空间音频的工作方式

我们在日常生活中不断使用空间音频导航。听到 iPhone 从右侧传来、音量逐渐变大，就能定位它在房间中的位置。visionOS 的空间音频系统模拟的就是这种体验。

（00:33）

系统会分析用户所处空间的尺寸和材质，自动为声音添加合适的混响。同一个 Find My 提示音，在空旷房间和客厅中播放的效果完全不同——声音会从特定方向传来，并带有环境反射的自然感。

（01:57）

开发者将声音作为 Spatial Audio Sources 放置到空间中，系统负责处理距离衰减、方向定位和混响效果。

UI 交互音效的设计

在 visionOS 中，用户通过手和眼睛与虚拟界面交互，没有物理接触。微妙的音效可以弥补这种缺失的触感反馈，给用户熟悉感和确认感。

（02:55）

虚拟键盘的每次按键都从对应键位发出声音。更关键的是，连续按键时每次声音略有不同——音高和振幅经过随机化处理。这种变化避免了机械重复感，让交互更自然。

（03:27）

Photos app 的设计过程展示了音效与视觉风格的匹配：

• 选择照片从网格进入 3D 视图时的过渡音
• 浏览相册时的翻页音

最初尝试的”窗户打开”和”幻灯片切换”音效过于具象，与视觉风格不符。最终选择的音效更抽象、更 subtle，与系统整体风格一致，同时强调了深度感。

（04:19）

沉浸式环境音的设计

visionOS 的 Environment（如 Mount Hood）是完全沉浸式的体验，每个环境都有对应的空间音景。

（05:48）

设计团队实地录制时发现，真实环境的声音并不总是理想的。Mount Hood 拍摄点旁边有一个大型排水系统，噪音大到掩盖了所有自然声音。作为设计者，应该”策划最好的现实”——让声音与视觉互补，不必完全忠实于原始录音。

（06:57）

录制过程使用两类设备：

• 沉浸式麦克风：录制环绕环境音，捕捉空间中的空气感
• 高灵敏度定向麦克风：聚焦特定声源，如鸟鸣、风声

录制覆盖全天时段，确保捕捉到完整的声音活动范围。

详细内容

构建空间音景的两个层次

Spatial Audio Sources（空间音频源）：占据空间中特定点的声音元素，如鸟、蟋蟀、青蛙。通常放置在前景和中景。

Ambient Background Audio（环境背景音）：环绕音频文件，持续循环播放，锚定在整个空间周围，提供整体氛围。

（09:23）

Mount Hood 音景的构建过程

第一步：放置蟋蟀和青蛙的声音到左右两侧。初始版本音量过大、距离感过近。

（10:08）

调整：降低几分贝音量，将声源推远到背景中。

第二步：在前景 shoreline 添加几只青蛙。使用随机化技术交替播放不同的青蛙录音，并随机化播放位置和时机。

（10:45）

第三步：加入环境背景音。环绕声文件 softly 填充整个空间。

最终所有层次混合在一起，形成完整的空间音景。

非沉浸式场景的声音设计

即使应用不占用整个沉浸式空间，也可以使用空间音景。

（12:24）

visionOS 的 onboarding 动画中，“hello” 文字的动画配合前景音效，同时环境背景音填充整个空间。这种分层方法让短暂和长时间的体验都保持有趣和互动性。

关键设计原则

1. 随机化（Randomization）：重复声音会疲劳，随机化音高、振幅、位置和时机
2. 距离控制：将声源推远可以创造空间深度
3. 音量平衡：距离和音量配合使用，达到正确的层次平衡
4. 微妙（Subtle）：UI 音效只提供必要的反馈，避免干扰
5. 风格一致：音效要与视觉风格和系统整体感觉匹配

（11:45）

核心启发

1. 为 visionOS 应用的每个交互添加空间定位音效

   • 做什么：给按钮点击、选择确认、过渡动画等交互添加 subtle 的音效
   • 为什么值得做：用户没有物理接触反馈，音效提供确认感和熟悉感
   • 怎么开始：使用 AVFoundation 的空间音频 API，将音效绑定到 UI 元素的三维位置

2. 为高频交互音效添加随机化参数

   • 做什么：键盘输入、滚动列表等高频触发的音效，每次播放时微调音高和音量
   • 为什么值得做：避免机械重复感，让应用感觉更自然、更有生命力
   • 怎么开始：准备 3-5 个变体音频文件，或使用音频引擎实时调整 pitch 和 gain 参数

3. 为菜单/标题页创建分层空间音景

   • 做什么：在应用非沉浸式界面中使用空间音频源 + 环境背景音的组合
   • 为什么值得做：即使不进入全沉浸式模式，也能让空间充满声音，提升氛围
   • 怎么开始：前景放置与动画同步的音效，背景添加低音量环绕环境音

4. 策划而非复制现实中的声音

   • 做什么：根据视觉风格选择和调整声音，不必忠实于原始录音
   • 为什么值得做：现实中的声音往往有噪音干扰，设计者有自由创造最佳体验
   • 怎么开始：从专业音效库获取素材，根据场景需要调整 EQ、混响和空间定位

关联 Session

• Design for spatial input — 为空间输入设计交互
• Create immersive Unity apps — 使用 Unity 创建沉浸式应用
• Work with metal on visionOS — 在 visionOS 上使用 Metal
• Design for spatial user interfaces — 空间用户界面设计指南