WWDC Quick Look 💓 By SwiftGGTeam
中文 EN 日本語
Platforms State of the Union

Platforms State of the Union

WWDC 2024
观看原视频

Highlight

Apple Intelligence 通过端侧基础模型与 Private Cloud Compute 双轨架构，在 iPhone 上实现了语言理解、图像生成与跨 app 操作的个人智能系统。

核心内容

开发者一直面临一个两难：生成式 AI 能力越来越强，但大模型跑在设备上太慢、跑在云端又不安全。用户的数据——邮件、照片、日历——散落在各个 app 里，模型想帮忙却看不到上下文；Siri 能调用的操作有限，用户说”帮我把这个笔记摘要贴到邮件里”，Siri 只能摇头。

Apple Intelligence 的回答是端侧 + 云端双轨架构。设备上跑一个经过量化和 Adapter 特化的基础语言模型，处理摘要、校对、邮件回复等日常任务；更复杂的推理则通过 Private Cloud Compute 完成。PCC 运行在一个精简的 iOS 子集上，去掉了持久化存储，替换了所有服务器管理工具以防止特权访问。用户设备与 PCC 之间建立端到端加密连接，请求数据在响应返回后不被保留，Apple 也无法访问。Apple 承诺公开每一个 PCC 生产构建的虚拟镜像供安全研究者审查。

另一条线索是 App Intents。Apple Intelligence 通过端侧语义索引组织用户在各 app 中的信息，再通过 App Intents Toolbox 理解每个 app 能做什么。开发者只需定义好 Intent 和 Entity，Siri 就能在跨 app 场景中把用户的意图路由到正确的操作上——比如把 Notes 里的摘要插入 Superhuman 的邮件草稿。

详细内容

Apple Intelligence 模型架构（02:50）

端侧基础模型是一个大语言模型（LLM），Apple 通过三个步骤让它跑在 iPhone 上：

  1. Adapter 微调——每个 Adapter 是一组小型权重，动态加载到基础模型上，让同一个模型在不同任务间切换。Apple Intelligence 包含一组 Adapter，分别针对摘要、校对、邮件回复等场景微调。
  2. 量化压缩——16-bit 模型被压缩到平均不到 4-bit，同时保持模型质量。
  3. 推理优化——采用推测解码（speculative decoding）、上下文裁剪（context pruning）、分组查询注意力（group query attention），针对 Neural Engine 做了专门调优。

图像生成方面采用了类似的架构：一个扩散模型 + Adapter，支持不同风格和 Genmoji。

Writing Tools、Genmoji、Image Playground（09:02）

  • 使用标准 UI 框架渲染文本框的 app 自动获得 Writing Tools。通过新的 TextView delegate API 可以自定义行为，比如在 Apple Intelligence 处理文本时暂停同步。
  • Genmoji 使用 AttributedString 处理（而非普通 emoji 的纯文本），只需设置一个属性即可让文本视图接受 Genmoji 输入。
  • Image Playground API 提供一致的图像生成体验，图像在设备上创建，开发者无需搭建自己的文生图服务。在 SwiftUI 中只需几行代码即可集成。

Siri 与 App Intents（12:06）

Siri 获得了两项无需额外适配即可受益的能力：调用 app 菜单项（用户说”Show presenter notes”即可触发）；访问使用标准文本系统的 app 中显示的文本（用户看到屏幕上的提醒说”FaceTime him”即可拨号）。通过新的 Spotlight API，App Entity 可被纳入语义索引，Siri 能跨 app 检索内容并执行操作。

Xcode 16 与 Swift Assist（21:13）

Xcode 16 的代码补全引擎基于一个专门为 Swift 和 Apple SDK 训练的模型，使用项目符号自定义建议，本地运行在 Apple silicon 上。Swift Assist 是一个更强大的云端模型，支持自然语言生成代码、引用项目中的 asset 和符号。代码不会存储在服务器上，也不用于训练。

Swift 6（27:45）

Swift 6 引入编译期数据竞争安全检查（data-race safety）。新的 Swift 6 语言模式是可选的，支持逐模块迁移。同时发布了 Swift Testing 测试框架和 Embedded Swift 子集（面向内核和微控制器）。Swift 仓库迁移到新的 github.com/swiftlang 组织。

SwiftUI 与 SwiftData（35:25）

SwiftUI 新增 @Previewable 宏、自定义 hover effect（visionOS）、窗口定制 API（macOS）、Text Renderer API。UIKit 手势识别器可在 SwiftUI 视图层级中使用；SwiftUI 动画可驱动 UIKit/AppKit 视图。SwiftData 新增 #Index、#Unique、自定义数据存储和变更历史追踪。

visionOS 2（56:30）

Volume 支持用户调整大小和固定/动态缩放模式；Ornament 可沿 Volume 边缘自由放置；新增 TabletopKit 框架用于桌面协作游戏；ARKit 支持全方向平面检测、Room Anchor、Object Tracking API。

Game Porting Toolkit 2（53:54）

支持 AVX2 和光线追踪评估；Metal 新增资源管理 API 帮助 DirectX 开发者移植代码；Xcode 支持调试原始 HLSL 着色器；Mac 游戏可更容易移植到 iPad 和 iPhone。

核心启发

  • 做什么：为 app 中的核心操作定义 App Intents 和 App Entities 为什么值得做：Apple Intelligence 通过 App Intents 理解 app 能做什么，定义越清晰，Siri 越能把用户请求路由到你的 app。App Entity 被纳入语义索引后，Siri 可以跨 app 检索你的内容。 怎么开始：从最常用的 3-5 个操作开始，为每个操作定义一个 App Intent，关联的实体定义为 App Entity，然后在 Spotlight API 中暴露。

  • 做什么：集成 Writing Tools 和 Image Playground 为什么值得做：使用标准文本系统的 app 自动获得 Writing Tools，只需一个属性即可支持 Genmoji。Image Playground 让用户在 app 内创建图像，开发者无需自建文生图服务。 怎么开始：检查 app 中的文本输入是否使用标准 UI 框架；用 TextView delegate API 控制同步行为；在 SwiftUI 中用 imagePlaygroundSheet 添加图像生成入口。

  • 做什么：为 Swift 6 迁移做准备 为什么值得做：Swift 6 的编译期数据竞争安全检查能从根本上消除并发 bug，而且支持逐模块迁移，无需等待依赖项。 怎么开始：在 Xcode 中逐模块开启 Swift 6 语言模式，根据编译器诊断修复数据竞争问题，参考 Swift.org 的迁移指南。

  • 做什么：利用 Core ML Tools 优化自带的端侧模型 为什么值得做：Apple 展示了 Mistral 7B 模型经 4-bit 量化和状态化 KV 缓存后推理速度提升 5 倍、峰值内存降低近 9 倍的效果。同样的优化技术适用于你自己的模型。 怎么开始：用 Core ML Tools 将 PyTorch 模型转换为 Core ML 格式，应用量化和 KV 缓存优化，在 Core ML 框架中运行并测试输出质量。

关联 Session

评论

GitHub Issues · utterances