WWDC Quick Look 💓 By SwiftGGTeam
Siri と iPhone に向けた Apple の次の大きな一歩

Siri と iPhone に向けた Apple の次の大きな一歩

元の動画を見る

ハイライト

iOS 27 では Siri が独立したアプリへ進化し、会話履歴を振り返れるようになります。Image Playground は写真のようにリアルな画像生成を追加し、Safari には Topics と Notify Me が入り、システムは漏洩したパスワードを自動検出してワンタップで更新できるようになります。

主要内容

Siri についに独立したアプリができた

以前の Siri は、呼びかけると現れ、タスクを実行すると消えていました。会話は途切れ、コンテキストは失われ、続きを話したいときは最初からやり直す必要がありました。

iOS 27 では Siri に dedicated app、つまり独立したアプリが用意されます。質問した後、会話はアプリ内に残り、いつでも戻って確認できます。ChatGPT や Claude の会話一覧に似ていますが、Siri の強みはシステムレベルの権限です。カレンダー、メール、写真を直接操作でき、画面上の内容も理解できます。

動画では、ユーザーが目の前の食べ物の栄養成分を Siri に分析させる場面が示されます。Siri は Web を検索し、続けて画面上の画像を見て回答します。これは、Siri の Screen Awareness、つまり画面認識能力が、システム標準アプリからサードパーティアプリのインターフェイスへ広がったことを意味します。

開発者にとっては、アプリが App Intents を通じて十分に豊かな操作インターフェイスを公開していれば、Siri は独立したアプリ内で複雑な複数ステップのタスクをユーザーの代わりに完了できる、ということです。単にページを開くだけではありません。

Image Playground はイラストから写真級のリアルへ

iOS 18 の Image Playground は、カートゥーン風のイラストしか生成できませんでした。iOS 27 では photorealistic、つまり写真のようにリアルなスタイルが追加され、生成画像を壁紙や Contact Posters として直接使えるようになります。

イラストから写真級のリアルへ移ると、必要な計算量は指数的に増えます。Apple がこれをオンデバイスで実行しようとしているということは、A シリーズ / M シリーズチップの NPU、つまり Neural Engine に大幅な低レベル最適化が入ったか、Private Cloud Compute のスケジューリング機構がさらに成熟したことを示しています。

開発者は API を通じて高品質な素材を直接生成でき、サードパーティの画像生成サービスに依存しなくてよくなります。ただし写真級のリアルな画像は deepfake や著作権のリスクも生むため、Apple の API はおそらく C2PA の来歴ウォーターマークと NSFW フィルタを強制するでしょう。

Safari はさらに賢くなった

Safari には 2 つの機能が追加されます。

  • Topics: 開いている Web ページをトピックごとに自動分類し、タブが爆発的に増える問題を解決します。
  • Notify Me: Web ページの内容が変わったときにユーザーへ能動的に通知します。開発者が Push Notification のバックエンドを作ってポーリングする必要はありません。

開発者にとって Notify Me は、ユーザーがアプリをインストールしなくても、Web サイトの重要な更新を受け取れることを意味します。情報取得のハードルは下がりますが、その分、サイト側は Safari のコンテンツ検出機構をよりよくサポートする必要があります。

漏洩パスワードをワンタップで修復

システムは compromised passwords、つまり漏洩済みのパスワードを自動検出し、ユーザーはワンタップで更新できます。この機能は AutoFill フレームワークに依存します。開発者はログインページとパスワード変更ページがパスワード自動入力を正しくサポートしていることを確認する必要があります。そうしないと、システムはワンタップ置換を完了できません。

詳細

Siri の独立アプリ化が持つ技術的意味

(00:14)

Siri がシステムレベル UI から独立アプリへ変わることは、大きなアーキテクチャ変更です。以前の Siri は Spotlight やロック画面に依存し、ライフサイクルが非常に短いものでした。今後は長期的な Conversation History とグローバルコンテキストを維持する必要があります。

これは App Intents の設計に新しい要求をもたらします。

  • 単一の Intent は十分に豊かな情報を返す必要があります。Siri は結果を独立した画面に表示し、単なるバナーでは済まないからです。
  • 複数ターンの会話では、Intent がコンテキストパラメータを受け取れる必要があります。Siri が詳細を聞き返せるようにするためです。
  • 画面認識能力が強化されるため、アプリの UI 状態を App Intents を通じてより明確にシステムへ公開する必要があります。

Image Playground の写真級リアルスタイル

(00:47)

カートゥーン風イラストから写真級のリアルへ移るうえで、中心となる変化は生成モデルの解像度とリアリティです。iOS 18 の Image Playground はオンデバイス実行を守るため、モデルが特定スタイルの低解像度画像しか生成できないよう圧縮されていました。iOS 27 の photorealistic スタイルはハイブリッド構成かもしれません。簡単なリクエストはオンデバイスで処理し、複雑なリクエストは Private Cloud Compute に送る形です。

開発者が使うときは、次の点に注意する必要があります。

  • 写真級のリクエストは弱いネットワーク環境でタイムアウトする可能性があるため、fallback ロジックが必要です。
  • 生成画像には、コンテンツの来歴を示すシステムレベルのウォーターマークが付きます。
  • 一部のテーマはフィルタされ、不安全な内容を生成する代わりにリクエストが失敗する場合があります。

Safari Notify Me の実装ロジック

(00:55)

Notify Me は単純な Web ページ監視ではありません。Safari に組み込まれた Change Detection 機構であり、Apple のプッシュ基盤と組み合わさったものだと考えられます。Web サイト側は何も変更する必要がなく、Safari がページ内の重要な変化、たとえば価格変更、在庫更新、記事公開を自動検出します。

コンテンツサイトにとっては、これは無料で「更新を購読」機能を得るようなものです。EC サイトにとっては、ユーザーがアプリを入れなくても値下げ通知を受け取れます。

パスワード自動更新の重要な流れ

(01:02)

漏洩パスワードをワンタップで更新する流れは次のとおりです。

  1. システムが、ある Web サイトのパスワードが漏洩データベースに含まれていることを検出します。
  2. ユーザーに通知が届き、「パスワードを更新」をタップします。
  3. システムが該当 Web サイトのパスワード変更ページを開きます。
  4. AutoFill が現在のパスワードを入力し、新しいパスワードを生成し、フォームを送信します。

Web サイトのパスワード変更ページで入力欄の種類が正しく指定されていない場合、たとえば type="password" や autocomplete 属性がない場合、AutoFill はフィールドを特定できず、ワンタップ更新は失敗します。

重要ポイント

  • Siri の複数ターン会話向けに App Intents を設計する: 従来の「ページを開く」Intent を、「状態を問い合わせる」「状態を変更する」「詳細を取得する」といった細かな Intent に分けます。Siri は独立したアプリ内でそれらを組み合わせ、ユーザーの複雑なタスクを完了できます。入口は AppIntent プロトコルと @Parameter プロパティラッパーです。

  • アプリ UI を Siri が理解できるようにする: 重要な UI 要素に accessibilityLabelaccessibilityValue を追加します。Siri の Screen Awareness は、これらの情報に依存して画面内容を理解します。さらに対応する App Intents を公開し、Siri がアプリに対して操作できるようにします。

  • Image Playground を壁紙やポスター生成に対応させる: アプリでユーザーがアバター、カバー、背景をカスタマイズできるなら、Image Playground API を統合し、自然言語の説明から専用画像を生成できるようにします。生成失敗とスタイルの段階的な切り替えを処理してください。

  • パスワード変更ページの AutoFill 対応を最適化する: ログインページとパスワード変更ページの HTML 構造を確認し、パスワード入力欄に正しい autocomplete="current-password"autocomplete="new-password" 属性があることを確かめます。これにより、ユーザーが漏洩通知を受けたときにワンタップで修復できます。

  • Safari Notify Me でユーザーのハードルを下げる: 商品ページや記事ページなど、重要な Web ページに構造化データ (JSON-LD) を追加し、Safari が内容の変化をより正確に検出できるようにします。ユーザーはアプリを入れなくても更新通知を受け取れます。

関連セッション

  • Siri と App Intents の新機能 — iOS 27 で追加された App Intents の能力は、Siri が独立したアプリ内であなたのアプリに対して何をできるかを直接左右します
  • App Intents の高度な使い方 — 複数ターンの会話と複雑な UI インタラクションのための Intent 設計パターン
  • Image Playground — 写真のようにリアルな画像生成の詳細 API と利用制限
  • App Intents のテスト — Siri の複数ターン会話シナリオに対する自動テストを書く
  • エージェント型アプリ — 複数ステップのタスクを自律的に完了できるエージェント型アプリを構築する。独立した Siri App が中核入口になる

コメント

GitHub Issues · utterances