WWDC Quick Look 💓 By SwiftGGTeam
中文 EN 日本語
Announcing Apple's next big step for Siri and iPhone

Announcing Apple's next big step for Siri and iPhone

Siri AIApple IntelligenceImage PlaygroundiOS 27
观看原视频

Highlight

iOS 27 将 Siri 升级为独立 App，支持对话历史回溯；Image Playground 新增照片级真实图像生成；Safari 加入 Topics 和 Notify Me；系统自动检测并一键更新泄露密码。

核心内容

Siri 终于有了独立 App

以前喊 Siri，它弹出来执行完任务就消失。对话断了，上下文丢了，想接着聊只能从头再来。

iOS 27 给 Siri 做了一个 dedicated app（独立 App）。你问完问题，对话留在 App 里，随时翻回去看。这和 ChatGPT、Claude 的会话列表一样，但 Siri 的优势在于系统级权限——它能直接操作你的日历、邮件、照片，还能感知屏幕内容。

视频里演示了一个场景：用户让 Siri 分析眼前的食物营养成分。Siri 直接去搜网页，接着看屏幕上的图片，给出回答。这意味着 Siri 的 Screen Awareness（屏幕感知）能力从系统内置 App 扩展到了第三方 App 的界面。

对开发者来说，你的 App 如果通过 App Intents 暴露了足够丰富的操作接口，Siri 就能在独立 App 里帮用户完成复杂的多步任务，而不只是打开某个页面。

Image Playground 从插画升级到照片级真实

iOS 18 的 Image Playground 只能生成卡通风格的插画。iOS 27 新增了 photorealistic（照片级真实）风格，生成的图像可以直接用作壁纸、Contact Posters（联系海报）。

算力需求从插画跳到照片级真实，增长是指数级的。苹果敢在端侧做这件事，说明 A 系列/M 系列芯片的 NPU（神经网络引擎）有了 substantial 的底层优化，或者 Private Cloud Compute（私有云计算）的调度机制更加成熟。

开发者可以通过 API 直接生成高质量素材，不再依赖第三方生图服务。但照片级真实图像也带来了 deepfake 和版权风险，苹果的 API 大概率会强制加入 C2PA（内容出处认证）水印和 NSFW 过滤。

Safari 更聪明了

Safari 新增了两个功能：

  • Topics：自动把打开的网页按主题归类，解决标签页爆炸的问题。
  • Notify Me：网页内容变化时主动通知用户，不用自己写 Push Notification 后端去轮询。

对开发者来说，Notify Me 意味着用户可以在不安装 App 的情况下，收到你网站的关键更新。这降低了用户获取信息的门槛，但也意味着你的网站需要更好地支持 Safari 的内容检测机制。

密码泄露一键修复

系统会自动检测 compromised passwords（已泄露密码），用户点一下就能更新。这个功能依赖 AutoFill（自动填充）框架，开发者需要确保自己的登录和修改密码页面正确支持密码自动填充，否则系统无法完成一键替换。

详细内容

Siri 独立 App 的技术含义

（00:14）

Siri 从系统级 UI 变成独立 App，架构变化很大。以前 Siri 依附于 Spotlight 或锁屏，生命周期极短。现在需要维护长期的 Conversation History 和全局上下文。

这对 App Intents 的设计提出了新要求：

  • 单个 Intent 要返回足够丰富的信息，因为 Siri 会在独立界面里展示结果，不再只是弹个横幅。
  • 多轮对话时，Intent 需要能接收上下文参数，让 Siri 可以追问细节。
  • 屏幕感知能力增强，App 的 UI 状态需要更清晰地通过 App Intents 暴露给系统。

Image Playground 的照片级真实风格

（00:47）

从卡通插画到照片级真实，核心变化在生成模型的分辨率和真实感。iOS 18 的 Image Playground 为了保端侧运行，模型被压缩到只能生成特定风格的低分辨率图像。iOS 27 的 photorealistic 风格可能走了混合路线：简单请求端侧处理，复杂请求走 Private Cloud Compute。

开发者使用时需要注意：

  • 照片级请求在弱网环境下可能超时，需要 fallback 逻辑。
  • 生成的图像会带有系统级水印，用于内容溯源。
  • 某些主题会被过滤，请求可能返回失败而不是生成不安全内容。

Safari Notify Me 的实现逻辑

（00:55）

Notify Me 不是简单的网页监控。它应该是 Safari 内置的 Change Detection 机制，结合 Apple 的推送基础设施。网站不需要做任何改动，Safari 会自动检测页面内容的关键变化（比如价格变动、库存更新、文章发布）。

对内容型网站来说，这相当于免费获得了一个”订阅更新”功能。对电商网站来说，用户可以不装 App 就收到降价通知。

密码自动更新的关键路径

（01:02）

一键更新泄露密码的流程：

  1. 系统检测到某网站的密码出现在泄露数据库中。
  2. 用户收到通知，点击”更新密码”。
  3. 系统打开对应网站的密码修改页面。
  4. AutoFill 自动填入当前密码、生成新密码、提交表单。

如果网站的密码修改页面没有正确标注输入框类型（type="password"、autocomplete 属性），AutoFill 就无法定位字段，一键更新会失败。

核心启发

  • 为 Siri 多轮对话设计 App Intents：把原来”打开页面”的 Intent 拆成”查询状态”、“修改状态”、“获取详情”等细粒度 Intent。Siri 可以在独立 App 里组合调用它们，帮用户完成复杂任务。入口：AppIntent 协议 + @Parameter 属性包装器。

  • 让 App UI 可被 Siri 感知：给关键界面元素添加 accessibilityLabel 和 accessibilityValue，Siri 的 Screen Awareness 依赖这些信息来理解屏幕内容。同时暴露对应的 App Intents，让 Siri 能对你的 App 执行操作。

  • 适配 Image Playground 生成壁纸/海报：如果你的 App 允许用户自定义头像、封面或背景，可以接入 Image Playground API，让用户用自然语言描述生成专属图像。注意处理生成失败和风格降级。

  • 优化密码修改页面的 AutoFill 支持：检查登录页和修改密码页的 HTML 结构，确保密码输入框有正确的 autocomplete="current-password" 和 autocomplete="new-password" 属性。这样用户收到泄露提醒时，才能一键修复。

  • 利用 Safari Notify Me 降低用户门槛：在网站关键页面（商品页、文章页）添加结构化数据（JSON-LD），帮助 Safari 更准确地检测内容变化。用户不装 App 也能收到更新通知。

关联 Session

评论

GitHub Issues · utterances