Highlight
5 分钟精华版。Apple Intelligence 底层重建,Xcode 27 拥抱 Agentic Coding,SwiftUI 补齐交互短板。完整内容请见 Platforms State of the Union。
核心内容
Apple Intelligence rebuilt from the ground up
Apple 与 Google 合作,基于 Gemini 技术重建了 Apple Foundation Models。对开发者来说,三个变化最直接:
- Foundation Models framework 新增 image input 和 cloud models 支持,复杂任务可无缝切换到 Claude、Gemini 等第三方云端模型。
- Dynamic Profiles 让你在同一会话中动态切换模型、工具和指令,写 AI Agent 的胶水代码大幅减少。
- Core AI 是全新的端侧模型运行框架,内存安全的 Swift API、细粒度量化、自定义 GPU kernel,从 iPhone 实时视觉模型到 Mac 上的数十亿参数 LLM agent 都能处理。
App Intents 连接系统 AI
App Intents 让 Siri 理解你的 App 能做什么。新的 View Annotations API 甚至让用户指着屏幕上的内容说”把这个发给 Kevin”,系统就能准确定位并执行。你的 App 不再是孤岛,而是系统智能网络中的一个节点。
SwiftUI 更快、更灵活
- Drag to reorder 和 swipe actions 现在任何容器都支持,不再局限于 List。
- Nested layouts 调整大小速度提升一倍。
- AsyncImage 自动缓存。
- Toolbar 新增
visibilityPriority和overflowMenu,窗口缩小时重要按钮自动保留。 - iOS App 在 iPad 和 Mac 上支持自由调整大小。
Xcode 27:Agentic Coding 全流程
- 体积缩小 30%,Apple Silicon only,设置通过 iCloud 同步。
- Device Hub 替代 Simulator,统一管理虚拟和物理设备,支持 pinch to zoom、live resizing、真机远程控制。
- Agentic Coding 集成 Anthropic、OpenAI、Google 模型。AI 对话像普通文件一样在 Navigator 里 split 和 stack。
- Agent 在 Plan 模式下先出方案再写代码,还能直接驱动运行中的 App 进行 tap、scroll、swipe 测试。
- 内置 SwiftUI、accessibility、sizing、testing、performance 等领域专家,Agent 可以直接调用。
- 支持插件扩展,Figma 和 GitHub 官方插件一键安装。
设计:Liquid Glass 统一风格
macOS 窗口圆角统一收紧,App 图标自动获得更锐利的渲染,Icon Composer 新增折射效果。iOS App 在 iPad 和 Mac 上可自由调整大小,新的 resizable iOS simulator 和 previews 方便跨尺寸测试。
详细内容
1. Core AI:端侧模型运行的新范式
Core AI 是 Apple 今年端侧 AI 基础设施的最大变化。它是独立于 Core ML 的全新模型推理框架,支持从 tiny vision model 到数十亿参数 LLM 的全谱系部署。关键特性包括:
- 内存安全的 Swift API:模型加载、推理、内存管理全部通过 Swift 类型系统保证安全,不再需要手动处理 raw buffer。
- 细粒度量化:支持 4-bit、8-bit 量化,开发者可以按层甚至按 tensor 选择量化策略,在精度和速度之间精确权衡。
- 自定义 GPU kernel:对于特定算子,开发者可以用 Metal 编写自定义 kernel 并注册到 Core AI 的 graph 中,这对视觉模型和自定义架构尤为重要。
- 跨设备统一:同一套代码在 iPhone、iPad、Mac 上运行,Core AI 自动根据设备算力选择执行路径(ANE、GPU、CPU)。
2. Dynamic Profiles:AI Agent 的编排基础设施
Foundation Models framework 新增的 Dynamic Profiles 解决了多模型协作的痛点。一个 Profile 定义了模型、工具集、系统指令和上下文窗口策略,开发者可以在运行时动态切换:
- 本地/云端无缝切换:简单任务用端侧模型,复杂推理自动 fallback 到 Claude、Gemini 等云端模型,切换过程对应用层透明。
- 多 Agent 协作:不同 Profile 可以嵌套调用,比如一个「规划 Agent」用强推理模型生成步骤,然后交给「执行 Agent」用轻量模型逐个完成。
- 上下文隔离:每个 Profile 有独立的上下文窗口,避免工具调用历史污染主对话流。
3. Xcode 27 Agentic Coding:从 Copilot 到 Autopilot
Xcode 27 的 AI 集成从代码补全升级为完整的「Agent 工作流」:
- Plan 模式:Agent 先分析需求、生成执行计划、等待开发者确认后再写代码,避免「AI 乱改」的失控感。
- App 驱动测试:Agent 可以直接操作运行中的 App(tap、scroll、swipe、输入文本),验证功能是否符合预期,并自动修复失败用例。
- 领域专家系统:内置 SwiftUI 布局专家、Accessibility 专家、Performance 专家等,Agent 遇到专业问题会自动调用对应专家模块,而不是用通用模型瞎猜。
- 对话即文件:AI 对话以
.ai文件形式存在于项目中,可以像普通文件一样被 git 追踪、review、share。
4. SwiftUI 交互能力补齐
SwiftUI 今年的更新集中在「让复杂交互变简单」:
- Universal Drag-to-Reorder:任何支持 ForEach 的容器(Grid、HStack、自定义布局)都可以拖拽重排,不再需要手动处理
onMove和DropDelegate。 - Universal Swipe Actions:List 之外的视图也能定义 swipe 动作,且支持自定义动画曲线和阈值。
- Nested Layout 性能翻倍:通过改进的布局缓存策略,深层嵌套的 VStack/HStack/ZStack 组合在尺寸变化时重新计算速度提升约 2 倍。
- 自由尺寸 iOS App:iOS App 在 iPad 和 Mac 上不再被限制为固定尺寸比例,开发者需要重新考虑响应式布局的边界情况。
5. App Intents View Annotations:从「打开 App」到「操作具体 UI」
View Annotations API 让 Siri 和系统 AI 可以精确定位到 App 界面上的具体元素:
- 开发者用
.intentAnnotation()modifier 标记可操作的视图,系统会自动提取元素的类型、内容、位置信息。 - 用户可以说「把这张图片发给 Kevin」,系统能识别「这张图片」是当前屏幕上的哪一张,「发给 Kevin」对应哪个 App Intent。
- 这要求 App 的 App Intents 定义和 UI 结构深度绑定,对 Intent 设计的粒度提出了更高要求。
核心启发
-
端侧 AI 应用爆发窗口已开:Core AI 让 iPhone 跑 LLM 变得可行,结合 Apple 的隐私卖点,「完全本地运行的个人助理」「离线智能相册整理」等产品形态有了技术基础。独立开发者可以在这个赛道上找到差异化空间。
-
Agentic Coding 改变开发工作流:Xcode 27 的 Plan 模式 + App 驱动测试意味着 AI 不只是写代码工具,而是可以独立完成「需求理解 → 实现 → 验证」闭环的协作伙伴。团队需要重新思考 code review 流程和 AI 生成代码的 ownership。
-
多模型编排成为标配能力:Dynamic Profiles 的设计暗示未来 App 不会绑定单一模型,而是根据任务动态选择最优模型。开发者需要建立「模型即服务」的思维,把模型切换当作基础设施而非临时 hack。
-
SwiftUI 的「最后一块拼图」正在补齐:Universal drag reorder 和 swipe actions 消除了大量「因为 SwiftUI 做不到而必须用 UIKit」的场景。新项目可以更大胆地选择 SwiftUI 作为唯一 UI 框架。
-
App Intents 是新的 SEO:View Annotations 让 App 的功能被系统 AI 发现和调用的概率大幅提升。Intent 设计得越好,App 在 Apple Intelligence 生态中的「可见度」就越高,这可能成为新的用户获取渠道。
评论
GitHub Issues · utterances