Platforms State of the Union

ハイライト

Apple Intelligence は、端末上の基盤モデルと Private Cloud Compute の二重アーキテクチャにより、iPhone 上で言語理解、画像生成、クロスアプリ操作を実現するパーソナルインテリジェンスシステムを提供します。

主要内容

開発者は長年、ジレンマに直面してきました。生成 AI の能力は向上し続けますが、大規模モデルはデバイス上では遅すぎ、クラウドでは安全性に欠けます。ユーザーのデータ——メール、写真、カレンダー——は各アプリに散在し、モデルはコンテキストを得られません。Siri が呼び出せる操作も限られ、「このメモを要約してメールに貼って」と言われても、Siri は対応できません。

Apple Intelligence の答えは、端末＋クラウドの二重アーキテクチャです。量子化と Adapter 特化を施した基盤言語モデルがデバイス上で要約、校正、メール返信などの日常タスクを処理し、より複雑な推論は Private Cloud Compute で実行されます。PCC は永続ストレージを持たない簡素化された iOS サブセット上で動作し、特権アクセスを防ぐためサーバー管理ツールはすべて置き換えられます。ユーザーデバイスと PCC の間はエンドツーエンド暗号化接続が確立され、リクエストデータは応答返却後に保持されず、Apple もアクセスできません。Apple は各 PCC 本番ビルドの仮想イメージを公開し、セキュリティ研究者のレビューに供することを約束しています。

もう一つの軸は App Intents です。Apple Intelligence は端末上のセマンティックインデックスで各アプリのユーザー情報を整理し、App Intents Toolbox で各アプリの機能を理解します。開発者が Intent と Entity を定義すれば、Siri はクロスアプリシナリオでユーザーの意図を正しい操作にルーティングできます——例えば Notes の要約を Superhuman のメール下書きに挿入するなど。

詳細

Apple Intelligence モデルアーキテクチャ（02:50）

端末上の基盤モデルは大規模言語モデル（LLM）です。Apple は 3 つのステップで iPhone 上での実行を実現しています：

Adapter ファインチューニング——各 Adapter は基盤モデルに動的ロードされる小さな重みの集合で、同一モデルがタスク間で切り替わります。Apple Intelligence には要約、校正、メール返信など向けにファインチューニングされた Adapter セットが含まれます。
量子化圧縮——16-bit モデルを平均 4-bit 未満に圧縮し、品質を維持します。
推論最適化——投機的デコード、コンテキストプルーニング、グループクエリアテンションを Neural Engine 向けにチューニング。

画像生成も同様のアーキテクチャ——拡散モデル＋ Adapter で、異なるスタイルと Genmoji をサポートします。

Writing Tools、Genmoji、Image Playground（09:02）

標準 UI フレームワークでテキストボックスを描画するアプリは自動的に Writing Tools を取得。新しい TextView delegate API で、Apple Intelligence がテキストを処理中に同期を一時停止するなどの動作をカスタマイズできます。
Genmoji は AttributedString で処理（通常の emoji とは異なり純テキストではない）。1 つの属性を設定するだけでテキストビューが Genmoji 入力を受け付けます。
Image Playground API は一貫した画像生成体験を提供。画像はデバイス上で作成され、開発者は独自のテキスト画像生成サービスを構築する必要がありません。SwiftUI では数行のコードで統合できます。

Siri と App Intents（12:06）

Siri は追加適用なしで恩恵を受ける 2 つの能力を獲得：アプリメニュー項目の呼び出し（「Show presenter notes」と言えばトリガー）；標準テキストシステムを使うアプリに表示されるテキストへのアクセス（画面上の「FaceTime him」というリマインダーを見て発信）。新しい Spotlight API により App Entity をセマンティックインデックスに含め、Siri がクロスアプリでコンテンツを検索・操作できます。

Xcode 16 と Swift Assist（21:13）

Xcode 16 のコード補完エンジンは Swift と Apple SDK 専用に訓練されたモデルに基づき、プロジェクトシンボルでカスタム提案を行い、Apple silicon 上でローカル実行されます。Swift Assist はより強力なクラウドモデルで、自然言語によるコード生成とプロジェクトのアセット・シンボル参照をサポート。コードはサーバーに保存されず、訓練にも使用されません。

Swift 6（27:45）

Swift 6 はコンパイル時のデータ競合安全チェック（data-race safety）を導入。新しい Swift 6 言語モードはオプションで、モジュール単位の移行をサポート。Swift Testing テストフレームワークと Embedded Swift サブセット（カーネル・マイコン向け）もリリース。Swift リポジトリは新しい github.com/swiftlang 組織に移行。

SwiftUI と SwiftData（35:25）

SwiftUI に @Previewable マクロ、カスタム hover effect（visionOS）、ウィンドウカスタマイズ API（macOS）、Text Renderer API が追加。UIKit ジェスチャー認識器を SwiftUI ビュー階層で使用可能。SwiftUI アニメーションで UIKit/AppKit ビューを駆動できます。SwiftData に #Index、#Unique、カスタムデータストア、変更履歴追跡が追加。

visionOS 2（56:30）

Volume でユーザーがサイズ調整と固定/動的スケーリングモードをサポート。Ornament を Volume エッジに自由配置。TabletopKit フレームワークでデスクトップ協力ゲーム。ARKit で全方向平面検出、Room Anchor、Object Tracking API をサポート。

Game Porting Toolkit 2（53:54）

AVX2 とレイトレーシング評価をサポート。Metal に DirectX 開発者の移植を支援するリソース管理 API を追加。Xcode で生 HLSL シェーダーをデバッグ可能。Mac ゲームを iPad と iPhone へより容易に移植できます。

重要ポイント

何をするか：アプリのコア操作に App Intents と App Entities を定義 なぜ価値があるか：Apple Intelligence は App Intents でアプリの機能を理解します。定義が明確なほど、Siri はユーザーリクエストをアプリにルーティングしやすくなります。App Entity がセマンティックインデックスに含まれれば、Siri はクロスアプリでコンテンツを検索できます。 始め方：最もよく使う 3〜5 操作から始め、各操作に App Intent を定義し、関連エンティティを App Entity として定義。Spotlight API で公開します。
何をするか：Writing Tools と Image Playground を統合 なぜ価値があるか：標準テキストシステムを使うアプリは自動的に Writing Tools を取得。1 属性で Genmoji をサポート。Image Playground でユーザーがアプリ内で画像を作成でき、独自のテキスト画像生成サービスは不要。 始め方：テキスト入力が標準 UI フレームワークを使っているか確認。TextView delegate API で同期動作を制御。SwiftUI で imagePlaygroundSheet を追加。
何をするか：Swift 6 移行の準備 なぜ価値があるか：Swift 6 のコンパイル時データ競合安全チェックは並行バグを根本から排除。モジュール単位移行で依存関係を待つ必要がありません。 始め方：Xcode でモジュールごとに Swift 6 言語モードを有効化。コンパイラ診断に従いデータ競合を修正。Swift.org の移行ガイドを参照。
何をするか：Core ML Tools で独自の端末モデルを最適化 なぜ価値があるか：Apple は Mistral 7B を 4-bit 量子化とステートフル KV キャッシュで推論速度 5 倍、ピークメモリ約 9 分の 1 削減を実証。同じ最適化技術が独自モデルにも適用可能。 始め方：Core ML Tools で PyTorch モデルを Core ML 形式に変換。量子化と KV キャッシュ最適化を適用。Core ML フレームワークで実行し出力品質をテスト。

Platforms State of the Union

ハイライト

主要内容

詳細

重要ポイント

関連セッション

コメント