Highlight
Apple 在 WWDC26 上发布了 iOS 27、iPadOS 27、macOS Golden Gate、watchOS 27、tvOS 27 和 visionOS 27,核心升级围绕三大方向:平台响应性与 Liquid Glass 设计打磨、面向儿童的安全与隐私工具、以及基于 Apple-Google 合作 Foundation Models 架构的 Siri AI 和下一代 Apple Intelligence。
核心内容
系统层面的打磨
以前打开 App、切换页面、传输文件,总觉得哪里差了一口气。iOS 27 通过预加载关键数据,让 iPhone 和 iPad 应用启动速度提升了 30%。这不需要开发者改代码,系统层自动完成。(10:28)
拍完照片后打开相册,新照片出现的速度提升了 70%。AirDrop 传输速度提升了 80%。iPad 连接外置硬盘传输文件的速度提升了 5 倍,和 Mac 上的 Finder 一样快。(11:07)
更意外的是,iPhone 11 也能用上 iOS 27。Apple 把原本只在新机型上的高级 CPU 调度器优化后下放到了 iPhone 11 及更新机型,让 2019 年的手机在 2026 年依然流畅。这是史上覆盖用户最多的 iOS 版本。(12:01)
网络切换也更聪明了。以前走到咖啡店门口,手机死死抓着微弱的 Wi-Fi 不放,你得手动切蜂窝。现在 iPhone 会自动判断什么时候该留、什么时候该走。低带宽环境下发大文件,Messages 会显示发送进度指示器,不再让你干等。(12:33)
搜索是另一个被彻底重写的部分。Spotlight、Photos、Mail 的搜索索引被重新架构,更稳定、更高效。更新后系统会自动重建索引,新内容几乎实时被收录。Mail 还引入了全新的排名系统,让你要找的邮件更可能出现在 Top Hits 第一位。(13:41)
Liquid Glass 设计迭代
去年推出的 Liquid Glass 设计语言今年继续打磨。(06:46)Apple 优化了 Liquid Glass 对复杂背景内容的扩散效果,让文字和控件更易读。同时新增了从 ultra clear 到 fully tinted 的透明度滑块,用户可以自己调。开发者已适配 Liquid Glass 的应用会自动支持这个自定义。
macOS 上,工具栏回归了更统一的设计,侧边栏延伸到窗口边缘,图标重新有了颜色,窗口圆角也更一致。App 图标本身也融入了更多 Liquid Glass 层次,折射效果让图标更锐利。(08:01)
儿童安全与家长控制
家长控制今年成了重头戏。核心思路是:每个孩子不同,家长最了解自己孩子,但系统应该提供基于专家研究的默认建议。(18:00)
新增的功能包括:
- Child Account:新建儿童账户会自动按年龄启用保护,现有账户可转换。13 岁以下默认开启 Ask to Buy 和新增的 Ask to Browse(访问新网站需家长批准),两者都通过 Messages 处理。(19:54)
- Time Allowances:按 Entertainment、Games、Social Media 分类设置每日使用时间,推荐值基于年龄和美国儿科学会的研究。13 岁以下默认禁用社交媒体。(23:53)
- Schedules:按时间段控制可用 App,比如上课时间只保留学习类 App。与 Time Allowances 配合,周末可以额外给时间看电影。(25:07)
- Communication Safety 扩展:除了裸露内容,现在还会拦截血腥暴力图片和视频,包括 FaceTime 实时通话。(23:14)
- Screen Time 重新设计:一眼看到孩子设备使用情况,一键调整访问权限。(25:43)
对开发者来说,Apple 提供了 Declared Age Range API,让 App 可以在保护隐私的前提下获取用户的年龄段,从而调整内容呈现。还有 Communication Safety API 和 Contact Approval API 帮助构建更安全的儿童体验。(26:54)
新一代 Apple Intelligence 与 Siri AI
这是今年最大的架构变动。Apple 与 Google 深度合作,基于 Gemini 技术打造了新一代 Apple Foundation Models,同时适配端侧运行和 Private Cloud Compute 服务器运行。(29:29)
新架构包含四个核心能力层:
- Personal context understanding:通过 Spotlight 语义索引理解你的照片、笔记、邮件等内容,任何接入 Spotlight 的应用都能参与。(30:57)
- Broad world knowledge:联网获取最新信息,通过 Private Cloud Compute 生成答案。(31:17)
- App Actions:从应用工具箱中找到合适的工具来完成请求,比如起草邮件或编辑照片。(31:31)
- On-screen awareness:根据你当前使用的 App 和操作内容提供针对性帮助。(31:45)
所有能力通过新的 System Orchestrator 协调。隐私方面,Apple 强调 AI 隐私不可妥协:端侧处理 + Private Cloud Compute,数据不被存储,Apple 和第三方都无法访问。(32:17)
Siri 被完全重建,新版本叫 Siri AI。它可以进行多轮对话,支持屏幕内容识别,能调用个人上下文,还能通过全新的 Siri App 回顾对话历史,历史通过 iCloud 私密同步,跨设备接力。(33:45)
Siri AI 还带来了 Visual Intelligence:在 iPhone 相机 App 里新增 Siri 模式,对着食物可以获取营养信息,对着账单可以拆分付款。macOS 上通过快捷键触发,选中屏幕内容后直接提问。iPad 集成在截图体验中。visionOS 上直接看着物体问 Siri,不需要说”Hey Siri”。(47:20)
Writing Tools 也升级了,现在可以帮你从零起草文档,在 Mail 和 Messages 中模仿你与特定联系人的沟通风格,还能自动校对。自动校对功能系统级可用,包括大多数第三方应用。(49:41)
详细内容
Siri AI 的实际使用场景
Mike 在演示中展示了 Siri AI 如何在日常场景中串联多个能力:
场景一:结合世界知识和个人上下文
用户问”Suki Waterhouse 在旧金山的演唱会是什么时候”,Siri 从网络获取信息回答。接着问”怎么买票”,Siri 回答需要抽选。然后说”抽选开放时提醒我”,Siri 创建提醒。最后”播放她的新歌”,Siri 打开 Music 播放。整个对话流畅连贯。(35:06)
场景二:屏幕感知 + 个人上下文
用户看到一张海边照片,问”这是哪里”,Siri 识别出是 Santa Cruz 的 Natural Bridges State Beach。用户想起朋友刚搬到附近,问”Jeff 的新家在哪”,Siri 从消息记录中找到地址。然后说”给我导航去那个拱门,中途停一下 Jeff 家”,Siri 自动规划路线。(36:05)
场景三:多轮对话创作
用户问”世界杯开幕周末的赛程是什么”,Siri 给出赛程表。用户下滑进入对话模式,说”巴西对摩洛哥这场很适合办观赛派对,给我两国代表性菜肴”。Siri 给出包含图片的菜单建议。用户想起女儿想带甜点,问”Maria 最近提到的甜点是什么”,Siri 从消息中找到”椰子饼干”。最后说”把这些整合成一份独特的派对菜单”,Siri 生成了一份融合两国菜品的创意菜单,并可以直接发送给群聊。(39:56)
场景四:macOS 上的 Siri
用户从 Spotlight 问”怎么在棚子里建一个 makerspace”,Siri 给出详细建议。用户选中三个不同格式的报价文件,Control-click 问”比较这些帮我选一个”,Siri 生成对比表格。用户想起儿子提过电气问题,问”哪个能解决”,Siri 从 Messages 中找到相关内容并给出推荐。然后说”给 Modular Workshops 起草一封友好的邮件,问能不能加快交货”,Siri 自动提取承包商邮箱和姓名,写出完整邮件。(43:01)
Safari 的 AI 增强
Safari 今年有三个实用功能。
Tab Topics:用 Apple Intelligence 自动把打开的 Tab 按主题分组。你浏览时,新打开的相关页面会自动加入对应主题。用完可以一键关闭整个主题,或者存成 Tab Group。(52:28)
Notify Me:告诉 Safari 你在等网页上的什么变化(比如”这个营地开放报名”),然后关掉 Tab。Safari 会在后台监控,检测到变化后推送通知。(53:28)
Describe an extension:用自然语言描述你想要的浏览器扩展功能,Safari 会自动生成一个自定义扩展来改造网页内容。比如”在工具栏加一个按钮,保存和评分我试过的食谱”。(54:13)
密码自动修复
Passwords App 现在可以一键把弱密码或泄露密码自动更新为强密码。背后是 Apple Intelligence 和 Safari 协作,自动登录每个网站、导航到密码修改页面、完成更新流程,全程代理执行。(54:37)
通话上下文(Call Context)
打电话时,Phone App 会自动从 Mail、Calendar 等 App 中找出相关信息。比如给航空公司打电话改航班,Phone App 会自动找到你的确认码并显示出来。整个过程完全在设备上运行,只看”你打给谁”而不听”你说什么”,Apple 和航空公司都看不到。(56:29)
Shortcuts 自然语言创建
以前创建 Shortcuts 要手动拖拽动作节点,现在直接描述需求即可。比如输入”当我离开工作时,给 Pedro 发消息说我在路上,附带预计到达时间”,Shortcuts 会自动组装:触发条件(离开工作地址)+ 计算 ETA + 发送消息。如果需要调整,继续描述即可,比如”再自动播放我最喜欢的播客”。(59:14)
Image Playground 升级
Image Playground 现在支持 photorealistic(照片级真实)风格,通过 Private Cloud Compute 运行。可以基于 Photos 图库中的人物生成图像,用自然语言描述转换照片风格,还能圈选对象进行移动、缩放或添加元素。新增多种尺寸,包括横版(网站用)和竖版(传单用)。集成到联系人海报、锁屏壁纸、Messages 背景。(01:00:30)
开发者可以通过 Image Playground API 接入这些能力。(01:02:27)
Photos 的 AI 编辑
三个新工具:
- Clean Up 升级:更好的质量和更真实的填充,复杂场景也能处理。(01:03:20)
- Extend:扩展图像边界,给主体更多空间,或拉直地平线而不裁剪内容。(01:03:41)
- Spatial Reframing:通过端侧空间模型实时预览,调整照片的拍摄视角,就像重新摆放了相机位置。边缘缺失部分由 Private Cloud Compute 的生成模型填充,且只在视角偏移处生成新内容,保持与原场景一致。(01:04:23)
这些功能适用于几乎所有照片,包括老照片和其他相机拍摄的照片。(01:06:37)
开发者工具
- Foundation Models framework:端侧模型现在支持图像输入、自定义 skills、服务器模型,统一 Swift API。Daydream 应用展示了实际用法:选一张照片,端侧模型识别服装单品,再用时尚知识推荐搭配。(01:09:38)
- Core AI framework:在所有平台上运行其他模型,利用 Apple Silicon 全火力加速。这是全新框架,让第三方模型获得与 Apple 自有模型同等的硬件加速。(01:10:27)
- Xcode Coding Agent:支持本地化整个 App、与模拟设备交互、自定义 skills,可选择模型(包括 Gemini),可连接 Figma 和 GitHub。(01:11:02)
- Device Hub:统一界面管理所有模拟器和真机,支持多点触控模拟、一键切换外观、动态调整尺寸。(01:11:21)
其他亮点
- Photos 共享相册:Android 和 Windows 用户现在可以加入 iCloud 共享相册并贡献照片,支持全分辨率分享。(14:56)
- Health:Cycle Tracking 新增围绝经期和更年期支持,可识别周期模式变化并记录症状。(15:14)
- AirPods:新增自定义 EQ,可进一步个性化音质。(15:34)
- Vision Pro:全景照片可转换为空间场景,用作个人环境。(15:47)
- Maps Flyover:结合航拍图像和视觉智能模型,建筑细节、树木形状、玻璃反光都渲染得更锐利。(16:07)
可用性说明
Siri AI 初期仅支持英语,会快速扩展到更多语言。Beta 版今年晚些时候推出。欧盟地区的 iOS 和 iPadOS 暂不可用,Apple 正在寻找保护隐私的解决方案。中国大陆的 Siri AI 和其他新 Apple Intelligence 功能在 regulatory requirements 解决前不可用。(01:08:16)
所有 Apple Intelligence 功能支持今天的同款设备。最强的端侧模型和对应功能(表现力语音、高级听写)仅在最强的 iPhone、iPad 和 Mac 上可用。(01:07:54)
核心启发
1. 做 Siri AI 的 App Actions 适配
- 做什么:让你的 App 支持被 Siri AI 通过自然语言调用。
- 为什么值得做:Siri AI 现在能进行多轮对话、理解屏幕内容、调用个人上下文。如果你的 App 暴露了 App Intents,用户可以直接说”把上周在 Shasta 的照片加到家庭共享相册”,而不需要手动打开 Photos。Line 应用把消息内容索引到 Spotlight,用户可以直接问 Siri 找聊天记录。Structured 日历应用通过 App Intents 让 Siri 直接创建事件。
- 怎么开始:用
AppIntents框架定义你的核心操作,确保内容被 Spotlight 索引。参考 Session 345 (App Intents New) 和 343 (App Intents Advanced)。
2. 接入 Image Playground API 做个性化内容
- 做什么:在 App 里让用户生成自定义图像,比如联系人海报、聊天背景、活动邀请函。
- 为什么值得做:Image Playground 现在支持 photorealistic 风格,且通过 Private Cloud Compute 保护隐私。用户不需要把照片上传到第三方服务。
- 怎么开始:使用
ImagePlaygroundframework,传入用户 Photos 图库中的人物和文字描述。
3. 用 Declared Age Range API 做内容分级
- 做什么:根据用户年龄段动态调整 App 内容。
- 为什么值得做:Apple 今年把儿童安全作为核心方向,家长控制会严格限制不合规 App。提前适配 Age Range API 可以让你的 App 在家庭共享场景中不被屏蔽。13 岁以下儿童默认禁用社交媒体,应用需要根据年龄调整功能和内容。
- 怎么开始:在 App 中调用
DeclaredAgeRangeAPI,根据返回的年龄段调整内容展示和交互逻辑。
4. 适配 Liquid Glass 设计
- 做什么:确保你的 App 在 iOS 27 / macOS Golden Gate 上正确呈现 Liquid Glass 效果。
- 为什么值得做:用户现在可以调节 Liquid Glass 的透明度,从 ultra clear 到 fully tinted。如果你的 App 已经使用了系统提供的 Liquid Glass API,这些设置会自动生效。macOS 上侧边栏延伸到边缘、图标恢复颜色、窗口圆角统一,未更新的应用也会受益。
- 怎么开始:检查现有 UI 是否使用了系统的材质(material)和工具栏 API,避免自定义实现与系统设置冲突。参考 Session 269 (SwiftUI) 和 289 (AppKit Modernization)。
5. 探索 Core AI 和 Foundation Models 跑本地模型
- 做什么:在 App 里嵌入自定义模型或调用 Apple 的 Foundation Models,完全本地或在 Private Cloud Compute 上运行。
- 为什么值得做:Foundation Models 框架现在支持图像输入、自定义 skills、服务器模型,统一 Swift API。Core AI 是全新框架,让第三方模型以 Apple Silicon 全性能运行在本地,覆盖所有平台。Daydream 应用展示了实际用法:用端侧模型识别服装,再给出搭配建议。
- 怎么开始:看 Session 241 (Foundation Models)、324 (Core AI)、328 (MLX Swift),了解模型转换和调用方式。
关联 Session
- Siri AI 与 iPhone 新体验 — Siri AI 的 iPhone 专属交互设计和 Visual Intelligence 深入解析
- Foundation Models — Apple Foundation Models 的技术细节,端侧与云端模型的架构和调用方式
- Agentic Apps — 如何构建能自主执行任务的智能应用,Siri AI 的 App Actions 机制详解
- App Intents 新特性 — 让应用功能被 Siri AI 发现和调用的具体实现方法
- Core AI — 在应用中运行自定义 ML 模型的全新框架和最佳实践
评论
GitHub Issues · utterances