WWDC Quick Look 💓 By SwiftGGTeam
中文 EN 日本語
Keynote

Keynote

WWDC 2023KeynoteApple Vision ProiOS 17macOS Sonoma
观看原视频

Highlight

WWDC 2023 introduced Apple Vision Pro and visionOS, completing the Apple Silicon transition with M2 Ultra Macs, while delivering major updates to iOS 17, iPadOS 17, macOS Sonoma, and watchOS 10.

核心内容

WWDC 2023 是 Apple 近十年最重要的一场开发者大会。三件大事同时发生：Mac 产品线全面完成 Apple Silicon 过渡、六个软件平台年度大版本更新、以及全新硬件平台 Apple Vision Pro 的诞生。开发者需要关注的不仅是新 API，而是计算范式的转移——从桌面到移动，再到空间计算。

Mac：Apple Silicon 全产品线完成

Mac 的 Apple Silicon 过渡始于 2020 年的 M1。三年后，最后一块拼图 Mac Pro 终于换上了自研芯片。

（04:55）15 寸 MacBook Air。这是 MacBook Air 首次推出 15 寸版本。厚度 11.5mm，重量约 3 磅，搭载 M2 芯片，18 小时续航。屏幕为 15.3 寸 Liquid Retina，亮度 500 nits，支持 10 亿色。起价 $1299，13 寸版本降价至 $1099。

（09:49）Mac Studio 更新。新增 M2 Max 和 M2 Ultra 两个选项。M2 Max 版本比 M1 Max 提升 25%，After Effects 渲染快 50%。

（10:42）M2 Ultra 芯片。通过 UltraFusion 架构连接两颗 M2 Max 芯片，24 核 CPU（比 M1 Ultra 快 20%）、76 核 GPU（快 30%）、32 核 Neural Engine（快 40%），支持最高 192GB 统一内存。可以在单机上训练大型 transformer 模型。

（13:35）Mac Pro with Apple Silicon。搭载 M2 Ultra，配备 6 个 PCIe Gen 4 扩展槽、8 个 Thunderbolt 接口。内置 Media Engine 提供相当于 7 块 Afterburner 卡的视频处理能力。起价 $6999。

iOS 17：沟通、分享和智能输入

（18:24）Contact Posters。用户可自定义来电时展示的头像、字体和颜色。通过 CallKit，第三方 VoIP 应用也能使用。

（19:39）Live Voicemail。来电留言时实时转写文字显示在屏幕上，用户可随时接听。转写完全在设备端完成。

（21:01）Messages 更新。搜索支持多条件过滤；音频消息自动转写；Check In 功能自动通知家人你已安全到家；所有 Emoji 变成贴纸，可从照片提取主体制作 Live Stickers，在整个系统中可用。

（25:43）NameDrop。两台 iPhone 靠近即可交换联系信息。也支持 iPhone 和 Apple Watch 之间使用。

（26:08）AirDrop 升级。两台设备靠近即可启动传输或 SharePlay。超出 AirDrop 距离后，大文件可通过互联网继续传输。

（27:25）键盘与听写。自动纠错升级为 Transformer 语言模型，支持句子级语法修正。输入预测改为内联显示，按空格键即可完成词或句子。听写也升级为基于 Transformer 的语音识别模型。

（29:45）Journal App。新应用，使用设备端机器学习从照片、位置、音乐等信息中智能生成写作建议。提供 Suggestions API 供第三方应用使用。

（32:05）StandBy。iPhone 横放充电时自动进入的全屏显示模式，支持时钟、照片轮播和小组件。

iPadOS 17：个性化与生产力

（35:49）交互式小组件。小组件现在可以直接交互——标记提醒事项完成、控制 HomeKit 设备、播放音乐，无需打开应用。第三方 App 也可以添加交互功能。

（36:50）锁屏个性化。iPad 获得和 iPhone 一样的锁屏自定义体验：壁纸、字体、颜色、小组件。Live Activities 也来到 iPad 锁屏。

（39:11）Health App 登陆 iPad。HealthKit 同步扩展到 iPad，开发者可以构建面向大屏的健康和健身应用。

（40:27）PDF 增强。系统自动识别 PDF 表单字段，支持 AutoFill 自动填写。Notes 应用内可直接展示、批注和协作 PDF。

macOS Sonoma：小组件、游戏和生产力

（45:11）桌面小组件。小组件不再局限于通知中心，可直接放在桌面上。通过 Continuity，Mac 可以访问 iPhone 上的小组件，无需在 Mac 上安装对应应用。

（48:15）游戏模式。自动为游戏分配最高 CPU/GPU 优先级。AirPods 音频延迟显著降低，Xbox/PlayStation 手柄蓝牙采样率翻倍。

（49:03）Game Porting Toolkit。Metal 提供的新工具，可将其他平台的游戏快速评估和移植到 Mac。过去需要数月的评估过程现在只需数天。

（51:54）视频会议增强。Presenter Overlay 将演讲者叠加在共享内容之上。Reactions 视频效果通过手势触发。

（53:15）Safari 更新。无痕浏览窗口自动锁定；阻止已知追踪器；去除 URL 追踪参数。支持密码和 passkey 的群组安全共享。Profiles 分离工作和个人浏览数据。Web App 可将任意网站添加到 Dock。

音频与家庭

（57:50）AirPods Adaptive Audio。动态混合降噪和通透模式。Conversation Awareness 开始说话时自动降低音乐音量。

（01:03:05）FaceTime on Apple TV。利用 Continuity Camera 将 iPhone/iPad 摄像头无线连接到 Apple TV。Continuity Camera API 开放给开发者，Zoom 和 Webex 将于年底前登陆 tvOS。

watchOS 10：重新定义交互

（01:07:00）Smart Stack。从任意表盘旋转数码表冠即可唤出小组件堆栈，使用机器学习在合适的时间显示相关信息。

（01:10:27）骑行功能。Apple Watch 可连接蓝牙自行车传感器。自动估算 FTP，提供 Power Zones 训练数据。骑行训练自动在 iPhone 上显示为 Live Activity。

（01:13:37）高尔夫/网球运动 API。Apple Watch Series 8 和 Ultra 的高频运动传感器可检测快速方向和加速度变化，开发者可通过 API 获取数据。

（01:15:02）心理健康。正念应用中可记录情绪和心情。健康应用中提供标准化抑郁和焦虑评估量表。

（01:17:04）视力健康。Apple Watch 测量户外日照时间。Screen Distance 利用 TrueDepth 摄像头检测设备是否离眼睛过近。

Apple Vision Pro：空间计算平台

（01:21:05）这是整场 Keynote 最核心的发布。Apple Vision Pro 是一款独立的空间计算机，起价 $3499，2024 年初在美国发售。

（01:24:22）交互方式。三种输入：眼睛浏览（注视即选中）、手指轻捏选择、语音听写和 Siri 控制。不需要任何手柄。

（01:48:16）显示系统。两块 micro-OLED 面板，每块邮票大小，单眼超过 4K 电视的像素数（总共 2300 万像素）。每个像素仅 7.5 微米宽。

（01:51:04）双芯片架构。M2 负责计算，全新 R1 芯片专门处理传感器数据。R1 在 12 毫秒内将新图像传输到显示屏——比眨眼快 8 倍。

（01:28:25）EyeSight。外置曲面 OLED 面板向周围的人展示佩戴者的眼睛。完全沉浸时显示光效提示。

（01:52:50）Digital Persona。通过编码器-解码器神经网络生成用户的数字形象，动态匹配面部和手部动作。可与超过十亿台 FaceTime 设备通信。

（01:53:28）visionOS。基于 macOS/iOS/iPadOS 构建，新增实时执行引擎、动态注视点渲染管线、首个多应用 3D 引擎。

（01:54:51）开发者生态。使用 Xcode、SwiftUI、RealityKit、ARKit 等熟悉工具构建。Reality Composer Pro 用于组装 3D 场景。数十万 iPad/iPhone 应用在发布时即可运行。Unity 深度集成。

（01:58:46）隐私。Optic ID 使用虹膜识别。视线追踪数据与 App 隔离——App 只能获知点击结果，无法获取视线轨迹。摄像头数据在系统级别处理。

详细内容

visionOS 开发框架栈

Apple Vision Pro 的开发者工具链建立在现有技术之上：

层级技术用途
UI 框架SwiftUI窗口、体积、空间界面
3D 框架RealityKit3D 渲染、动画、物理、音频
空间感知ARKit手部追踪、场景理解、平面检测
底层渲染Metal / CompositorServices自定义渲染管线、全沉浸体验
内容工具Reality Composer Pro组装、编辑、预览 3D 场景
游戏引擎Unity移植现有 Unity VR/3D 游戏

关键点：

  • SwiftUI 扩展了 WindowGroup、Volume 和 ImmersionSpace 场景类型
  • RealityKit 的 RealityView 将 3D 内容嵌入 SwiftUI 视图层级
  • ARKit 的手部追踪和场景理解需要 Full Space 权限
  • 现有 iPad/iPhone 应用通过兼容性层在 visionOS 上运行

visionOS 隐私架构

┌─────────────────────────────────────────┐
│  App Process                            │
│  - 只能接收点击结果                      │
│  - 无法访问视线轨迹                      │
│  - 无法访问原始摄像头数据                │
└─────────────────────────────────────────┘
                    ↑
┌─────────────────────────────────────────┐
│  System Process (isolated)              │
│  - 眼动追踪数据处理                      │
│  - 摄像头数据处理                        │
│  - Optic ID 虹膜识别                     │
└─────────────────────────────────────────┘

关键点：

  • 眼动追踪数据在独立系统进程中处理
  • App 只能获得”用户点击了某个元素”的结果
  • 摄像头数据在系统级别处理，App 无法看到周围环境
  • Optic ID 数据加密存储在 Secure Enclave 中

核心启发

1. 为 visionOS 准备应用的三种策略

评估你的应用适合哪种 visionOS 形态——窗口化（Windows）、体积化（Volumes）还是全空间（Spaces）。iPad/iPhone 应用在 Vision Pro 发布当天即可运行，但只有适配 visionOS 的应用才能发挥空间计算的优势。入口：从 SwiftUI 的 WindowGroup 和 Volume 场景类型入手；了解 RealityView 和 Model3D 等新视图。

2. 利用交互式小组件提升用户参与度

为现有小组件添加交互能力——不只是展示信息，而是让用户能直接操作。iPad 和 Mac 的小组件都支持交互，用户不用打开应用就能完成任务。入口：使用 SwiftUI 的 Button 和 Toggle 在小组件中直接响应交互；通过 App Intents 执行后台操作。

3. 为 Mac 游戏移植做准备

评估将游戏移植到 macOS 的可行性，利用 Game Porting Toolkit 快速验证。Game Mode 为所有 Mac 游戏提供开箱即用的性能优化。入口：下载 Game Porting Toolkit，运行评估工具。了解 Metal Shader Converter 的使用方式。

4. 构建空间计算原型

使用 Xcode 的 visionOS 模板和模拟器，快速构建一个空间计算原型。即使你的主应用是 2D 的，也可以尝试添加一个简单的 3D 元素（如一个可旋转的产品模型）。入口：Xcode 15 的 visionOS 模板 + Reality Composer Pro + 模拟器预览。

关联 Session

评论

GitHub Issues · utterances