WWDC Quick Look 💓 By SwiftGGTeam
中文 EN 日本語
Keynote

Keynote

WWDC 2024
观看原视频

Highlight

Apple Intelligence 作为个人智能系统首次登场，端侧模型处理文本、扩散模型生成图像，Private Cloud Compute 用 Apple silicon 服务器扩展算力且不保留用户数据；Siri 获得屏幕内容感知和跨 App 操作能力；ChatGPT（GPT-4o）集成进 Siri 和 Writing Tools。

核心内容

每年 WWDC 的 Keynote 是 Apple 平台全年方向的定调。2024 年的主题很明确：让设备理解你。

在操作系统层面，visionOS 2 把 2D 照片用机器学习转成空间照片，Mac Virtual Display 扩展到超宽屏（相当于两台 4K 显示器并排），Travel Mode 增加火车场景，TabletopKit 为桌面协作应用提供锚定平面的 API。iOS 18 的重心是个性化——主屏幕图标自由摆放、深色模式和着色，控制中心全面可定制，锁屏底部按钮可替换。Messages 支持 RCS、定时发送和文字效果。Passwords App 从 iCloud Keychain 独立出来，跨平台同步包括 Windows。

但真正定义 2024 的是 Apple Intelligence。它作为嵌入系统的个人智能层运行。端侧运行的语言模型负责文本总结、改写、校对，扩散模型负责生成图像和 Genmoji。当任务超出设备算力时，Private Cloud Compute 在 Apple silicon 服务器上运行更大模型，处理完成后不保留任何用户数据，且服务器软件镜像对独立专家可审计。Siri 的升级同样基于这套架构：更自然的对话理解、屏幕内容感知、跨 App 操作编排，以及通过 App Intents 框架让第三方应用接入。

Craig Federighi 在演讲末尾宣布 ChatGPT（GPT-4o）集成到 Siri 和 Writing Tools 的 Compose 功能中。用户无需注册即可免费使用，ChatGPT 订阅用户可连接账户访问付费功能。每次共享信息前都会征求用户许可。Apple 同时表示未来会接入其他 AI 模型。

详细内容

visionOS 2（05:43）

  • 2D 照片转空间照片：机器学习从单张 2D 图像推导出左右眼视图，一键生成带自然深度的空间照片（08:15）
  • Mac Virtual Display 超宽模式：分辨率和尺寸提升，可扩展为环绕式超宽屏，等效两台 4K 显示器，依赖 Mac 端动态注视点渲染保持清晰度（09:28）
  • 手势增强：抬手点击打开 Home View，翻手查看时间和电量，再点击打开控制中心（09:02）
  • TabletopKit：快速创建锚定平面的应用，适合棋盘游戏和制造工作站，配合 spatial Personas 的 FaceTime 体验（10:37）
  • 专业空间视频工作流：Canon 为 EOS R7 推出空间镜头，Final Cut Pro 剪辑，Vimeo app 发布（11:43）
  • Apple Immersive Video 制作：与 Blackmagic Design 合作，使用 Blackmagic 相机 + DaVinci Resolve Studio + Apple Compressor（12:32）
  • Vision Pro 扩展市场：6 月 28 日中国、日本、新加坡上市；7 月 12 日澳大利亚、加拿大、法国、德国、英国上市（13:55）

iOS 18（14:34）

  • 主屏幕自定义：图标沿壁纸自由摆放，深色模式图标，着色（tint）模式自动从壁纸取色（14:52）
  • 控制中心改版：多页分组（媒体播放、家居控制等），Controls Gallery 添加第三方控件，锁屏底部按钮和 Action Button 可触发自定义控件（16:34）
  • 隐私增强：App Lock（Face ID/Touch ID 保护单个应用，信息不出现在搜索和通知中）、隐藏应用文件夹、联系人选择性授权、配件配对隐私（18:22）
  • Messages：RCS 支持、定时发送（Send Later）、文字格式化（粗体/斜体/下划线/删除线）、文字效果、任意 emoji 和贴纸 Tapback、卫星消息（iPhone 14 及以后，端到端加密）（20:38）
  • Mail 分类：设备端分类为 Primary、Transactions、Updates、Promotions，带 digest 视图聚合同一商家邮件（22:55）
  • Maps：63 个美国国家公园地形图和徒步路线，离线保存，逐向语音导航（24:24）
  • Wallet：Tap to Cash（两台手机碰一碰转账 Apple Cash，无需交换联系方式）、Apple Pay Online 奖励兑换和分期付款（24:42）
  • Photos 重新设计：统一视图，Collections 按主题组织，Carousel 展示最佳内容，可自定义排序和置顶（26:16）
  • Game Mode：最小化后台活动保持高帧率，提升 AirPods 和无线手柄响应速度（25:46）

AirPods 和 tvOS（30:45）

  • AirPods 交互：点头 yes / 摇头 no 回应 Siri；AirPods Pro 通话语音隔离（Voice Isolation）；游戏个性化空间音频 API（31:04）
  • Apple TV InSight：实时显示演员角色名和歌曲信息，可添加到 Apple Music 播放列表（33:12）
  • Enhance Dialogue：扩展到电视扬声器和接收器，使用 ML 增强人声清晰度（33:41）
  • 21:9 投影仪支持：按导演意图显示宽屏电影（34:32）

watchOS 11（36:02）

  • Training Load：基于心率、配速、海拔和个人数据自动估算努力等级（1-10），结合运动时长计算训练负荷（36:23）
  • Vitals App：睡眠时追踪心率、呼吸频率、腕温，异常时提醒并提供关联分析（酒精、海拔、疾病等）（38:10）
  • Smart Stack 智能化：自动添加降水预警、翻译等小组件；Live Activities 来到 Apple Watch（40:20）
  • Double Tap API：开发者可定义双击操作，如 Sprout Baby Tracker 一键记录宝宝睡眠（41:26）

iPadOS 18（43:05）

  • 浮动标签栏：导航栏可变形为侧边栏，支持自定义常用标签（44:00）
  • Calculator + Math Notes：Apple Pencil 手写算式自动求解，结果以手写风格显示；支持变量和实时更新；画线求和；输入 y= 可生成函数图形，悬停调整变量实时预览（45:52）
  • Smart Script：设备端 ML 重现你的笔迹风格，手写越快越潦草也能实时优化为可读手写体；粘贴文本变成你的手写风格；划掉即擦除；按住挤出空间插入（48:51）

macOS Sequoia（50:54）

  • iPhone Mirroring：Mac 上无线操控 iPhone，iPhone 保持锁定且 StandBy 可见；iPhone 通知出现在 Mac 通知中心；跨设备拖放文件（52:44）
  • 窗口贴靠：拖拽窗口到边缘自动建议平铺位置，键盘和菜单快捷键支持（55:29）
  • Passwords App：密码、验证码、安全警报统一管理，跨 Mac/iPad/iPhone/Vision Pro/Windows 同步（56:26）
  • Safari Highlights：ML 自动检测页面信息（地址、摘要、人物/音乐/影视链接）；Reader 增加目录和摘要；Viewer 将网页视频居中播放（57:13）
  • Game Porting Toolkit 2：改进 Windows 兼容性和着色器调试工具；Xcode 支持统一游戏代码和着色器跨设备（01:00:32）

Apple Intelligence（01:06:18）

  • 架构：端侧大语言模型 + 扩散模型 + 设备端语义索引（组织并检索跨 App 信息）。请求时语义索引定位相关个人数据，传递给生成模型（01:12:02）
  • Private Cloud Compute：复杂请求发送到 Apple silicon 服务器处理，数据仅用于完成请求，处理完不保留；iPhone/iPad/Mac 加密验证服务器软件已公开记录供审计（01:14:07）
  • Siri 升级：全新发光边缘 UI；自然语言理解（口误也能纠正）；对话上下文延续；支持文本输入（双击底部）；产品知识库回答数千个操作问题；未来将支持屏幕内容感知和跨 App 操作编排（01:16:06）
  • Writing Tools：系统级 Rewrite（友好/专业/简洁语气）、Proofread（语法+用词+句子结构）、Summarize（TL;DR 插入邮件顶部）；第三方 App 自动获得（标准可编辑文本视图）（01:23:40）
  • Genmoji：在键盘中用文字描述生成自定义 emoji，可基于照片库中的人物外观（01:28:24）
  • Image Playground：选择概念（主题/服装/配饰/地点）或输入描述，秒级生成预览，三种风格（Animation/Sketch/Illustration），设备端运行；开发者可通过 API 集成（01:29:17）
  • Image Wand：Notes 中用 Apple Pencil 圈画粗略草图，Image Wand 将其转为精致图像；圈空白区域则从上下文推断（01:32:15）
  • Photos Clean Up：自动识别背景干扰物并移除；自然语言搜索照片和视频特定时刻；描述式 Memory Movie 生成（01:33:02）
  • Priority Notifications / Reduce Interruptions：优先通知置顶；新 Focus 模式根据通知内容选择性展示需要即时关注的信息（01:26:56）
  • ChatGPT 集成：Siri 判断需要时请求许可后调用 GPT-4o；Compose 写作工具可调用 ChatGPT 生成内容和图像；免费使用无需账号，订阅用户可连接账户（01:36:39）
  • 支持设备：iPhone 15 Pro、iPad 和 Mac M1 及以后；美式英语首发，秋季 beta，部分功能和语言后续一年内推出（01:40:56）

核心启发

  1. 为 App 添加 App Intents：Apple Intelligence 通过 App Intents 框架发现和调用 App 功能。如果你的 App 已经采用 SiriKit，会自动获得部分增强；新项目直接用 App Intents 定义操作，让 Siri 能执行”在 Darkroom 中给昨天拍的照片加电影滤镜”这样的指令。为什么值得做：Siri 跨 App 编排能力上线后，接入 App Intents 的应用会被优先发现和调用。怎么开始：梳理 App 核心操作，用 AppIntent 协议封装，优先覆盖搜索、编辑、分享类意图。

  2. 适配 Writing Tools 和 Image Playground API：标准可编辑文本视图自动获得 Writing Tools，无需额外开发；Image Playground 只需几行代码集成。为什么值得做：用户会在 Notes、Mail、第三方 App 中习惯用 Writing Tools 改写和总结，不支持的 App 会显得功能缺失。怎么开始：确认 App 使用标准文本视图；在需要图像创作场景的位置调用 Image Playground API。

  3. 重构隐私策略以适配 App Lock 和选择性联系人授权：iOS 18 允许用户锁定和隐藏 App、选择性授权联系人。如果你的 App 依赖全量联系人访问或后台数据读取，可能出现运行时权限缺失。为什么值得做：用户锁定 App 后信息会从搜索和通知中消失，你的 App 可能收不到原本依赖的数据。怎么开始：审计 App 对联系人、通知、后台读取的依赖路径，为部分授权和 App Lock 状态设计降级体验。

  4. visionOS TabletopKit 入场桌面协作场景：TabletopKit 提供锚定平面 API，配合 spatial Personas 的 FaceTime，是棋盘游戏、制造工作站、医疗培训类应用的低门槛入口。为什么值得做：Vision Pro 生态应用数量仍在早期增长阶段，桌面场景竞争少，TabletopKit 大幅降低了空间锚定开发难度。怎么开始：用 TabletopKit 创建一个棋盘游戏原型，验证平面锚定和多人 Persona 交互流程。

关联 Session

评论

GitHub Issues · utterances