ハイライト
Apple Intelligence が個人向けインテリジェンスシステムとして初登場。端末側モデルがテキストを処理し、拡散モデルが画像を生成。Private Cloud Compute は Apple silicon サーバーで算力を拡張しユーザーデータを保持しない。Siri は画面内容の認識とクロス app 操作を獲得。ChatGPT(GPT-4o)が Siri と Writing Tools に統合。
主要内容
毎年 WWDC の Keynote は Apple プラットフォームの年間方向性を定めます。2024 年のテーマは明確です:デバイスがあなたを理解する。
OS レベルでは、visionOS 2 が 2D 写真を機械学習で空間写真に変換し、Mac Virtual Display を超ワイド(2 台の 4K ディスプレイを並べた相当)に拡張。Travel Mode に電車シナリオを追加。TabletopKit が卓上協作 app 向けの平面アンカー API を提供。iOS 18 の重点はパーソナライゼーション——Home Screen アイコンの自由配置、ダークモードと着色、完全カスタマイズ可能な Control Center、Lock Screen 下部ボタンの置き換え。Messages に RCS、スケジュール送信、テキストエフェクト。Passwords app が iCloud Keychain から独立し、Windows を含むクロスプラットフォーム同期。
しかし 2024 年を定義するのは Apple Intelligence です。システムに組み込まれた個人向けインテリジェンス層として動作。端末側言語モデルがテキスト要約、書き換え、校正を担当。拡散モデルが画像生成と Genmoji を担当。タスクが端末算力を超える場合、Private Cloud Compute が Apple silicon サーバーでより大きなモデルを実行し、処理後にユーザーデータを保持せず、サーバーソフトウェアイメージは独立専門家が監査可能。Siri のアップグレードも同じアーキテクチャ上:より自然な会話理解、画面内容の認識、クロス app 操作の編成、App Intents フレームワークによるサードパーティ app 連携。
Craig Federighi が演説末尾で ChatGPT(GPT-4o)の Siri と Writing Tools の Compose 機能への統合を発表。ユーザーは登録なしで無料利用可能。ChatGPT サブスクライバーはアカウント接続で有料機能にアクセス。情報共有前に毎回許可を求める。Apple は将来他の AI モデルも統合すると述べた。
詳細
visionOS 2(05:43)
- 2D 写真から空間写真へ:機械学習が単一 2D 画像から左右の視点を導出し、ワンタップで自然な深度の空間写真を生成(08:15)
- Mac Virtual Display 超ワイドモード:解像度とサイズ向上、2 台の 4K ディスプレイ相当のラップアラウンド超ワイドに拡張。Mac 側の動的注視点レンダリングで鮮明さを維持(09:28)
- ジェスチャー強化:手を上げてタップで Home View を開く、手首を返して時刻とバッテリーを確認、再タップで Control Center を開く(09:02)
- TabletopKit:平面にアンカーされた app を素早く作成。ボードゲームや製造ワークステーションに適し、FaceTime spatial Personas と連携(10:37)
- プロ向け空間ビデオワークフロー:Canon が EOS R7 向け空間レンズ、Final Cut Pro 編集、Vimeo app リリース(11:43)
- Apple Immersive Video 制作:Blackmagic Design と協力。Blackmagic カメラ + DaVinci Resolve Studio + Apple Compressor(12:32)
- Vision Pro 市場拡大:6 月 28 日に中国、日本、シンガポール発売。7 月 12 日にオーストラリア、カナダ、フランス、ドイツ、英国発売(13:55)
iOS 18(14:34)
- Home Screen カスタマイズ:壁紙に沿ってアイコンを自由配置、ダークモードアイコン、壁紙から自動取色する tint モード(14:52)
- Control Center 刷新:複数ページのグループ(メディア再生、ホーム制御など)、Controls Gallery でサードパーティコントロール追加、Lock Screen 下部ボタンと Action Button でカスタムコントロール起動(16:34)
- プライバシー強化:App Lock(Face ID/Touch ID で個別 app を保護、検索と通知から情報を非表示)、非表示 app フォルダ、連絡先の選択的認可、アクセサリペアリングのプライバシー(18:22)
- Messages:RCS サポート、Send Later、テキスト書式(太字/斜体/下線/取り消し線)、テキストエフェクト、任意の emoji とステッカー Tapback、衛星メッセージ(iPhone 14 以降、エンドツーエンド暗号化)(20:38)
- Mail 分類:端末側で Primary、Transactions、Updates、Promotions に分類。digest ビューで同一店舗のメールを集約(22:55)
- Maps:63 の米国国立公園の地形図とハイキングルート、オフライン保存、ターンバイターンナビ(24:24)
- Wallet:Tap to Cash(2 台の iPhone をタップして Apple Cash を送金、連絡先交換不要)、Apple Pay Online リワード交換と分割払い(24:42)
- Photos 再設計:統一ビュー、Collections でテーマ別整理、Carousel でベストコンテンツ表示、カスタムソートとピン留め(26:16)
- Game Mode:バックグラウンド活動を最小化して高フレームレート維持、AirPods とワイヤレスコントローラーの応答速度向上(25:46)
AirPods と tvOS(30:45)
- AirPods 操作:うなずき yes / 首振り no で Siri に応答。AirPods Pro 通話 Voice Isolation。ゲーム向けパーソナライズ空間オーディオ API(31:04)
- Apple TV InSight:リアルタイムで俳優のキャラクター名と楽曲情報を表示、Apple Music プレイリストに追加(33:12)
- Enhance Dialogue:TV スピーカーとレシーバーに拡張。ML で人声の明瞭さを向上(33:41)
- 21:9 プロジェクターサポート:監督の意図通りにワイドスクリーン映画を表示(34:32)
watchOS 11(36:02)
- Training Load:心拍数、ペース、標高、個人データから努力レベル(1-10)を自動推定。運動時間と組み合わせてトレーニング負荷を計算(36:23)
- Vitals App:睡眠中の心拍数、呼吸数、手首温度を追跡。異常時にアラートと関連分析(アルコール、標高、病気など)(38:10)
- Smart Stack の智能化:降水警報、翻訳などのウィジェットを自動追加。Live Activities が Apple Watch に登場(40:20)
- Double Tap API:開発者がダブルタップ操作を定義可能。例:Sprout Baby Tracker でワンタップ赤ちゃんの睡眠記録(41:26)
iPadOS 18(43:05)
- フローティングタブバー:ナビゲーションバーがサイドバーに変形可能。よく使うタブをカスタマイズ(44:00)
- Calculator + Math Notes:Apple Pencil で手書きの式を自動求解、結果を手書きスタイルで表示。変数とリアルタイム更新をサポート。線の合計。y= 入力で関数グラフ生成、ホバーで変数調整とライブプレビュー(45:52)
- Smart Script:端末側 ML があなたの筆跡スタイルを再現。速くて乱れた手書きもリアルタイムで読みやすい手書きに最適化。貼り付けテキストがあなたの手書きスタイルに。消すには線を引く。押し続けてスペースを作り挿入(48:51)
macOS Sequoia(50:54)
- iPhone Mirroring:Mac から iPhone をワイヤレス操作。iPhone はロック状態で StandBy 表示。iPhone 通知が Mac 通知センターに表示。クロスデバイスドラッグ&ドロップ(52:44)
- ウィンドウタイル:ウィンドウを端にドラッグしてタイル位置を提案。キーボードとメニューショートカット(55:29)
- Passwords App:パスワード、認証コード、セキュリティアラートを統一管理。Mac/iPad/iPhone/Vision Pro/Windows で同期(56:26)
- Safari Highlights:ML がページ情報(住所、要約、人物/音楽/TV リンク)を自動検出。Reader に目次と要約追加。Viewer で Web ビデオを中央再生(57:13)
- Game Porting Toolkit 2:Windows 互換性とシェーダーデバッグツールを改善。Xcode が統一ゲームコードとシェーダーのクロスデバイスをサポート(01:00:32)
Apple Intelligence(01:06:18)
- アーキテクチャ:端末側大規模言語モデル + 拡散モデル + 端末側セマンティックインデックス(クロス app 情報を整理・検索)。リクエスト時にセマンティックインデックスが関連個人データを特定し生成モデルに渡す(01:12:02)
- Private Cloud Compute:複雑なリクエストを Apple silicon サーバーに送信。データはリクエスト完了のみに使用、処理後保持しない。iPhone/iPad/Mac がサーバーソフトウェアの公開記録を暗号検証して監査可能(01:14:07)
- Siri アップグレード:新しい発光エッジ UI。自然言語理解(言い間違いも修正)。会話コンテキストの継続。テキスト入力サポート(下部ダブルタップ)。製品ナレッジベースで数千の操作質問に回答。将来は画面内容認識とクロス app 操作編成をサポート(01:16:06)
- Writing Tools:システムレベルの Rewrite(フレンドリー/プロフェッショナル/簡潔なトーン)、Proofread(文法+語彙+文構造)、Summarize(メール上部に TL;DR 挿入)。サードパーティ app は標準編集可能テキストビューで自動取得(01:23:40)
- Genmoji:キーボードでテキスト説明からカスタム emoji を生成。フォトライブラリの人物の外見を基に可能(01:28:24)
- Image Playground:コンセプト(テーマ/服装/アクセサリー/場所)を選択または説明入力、秒単位でプレビュー生成。3 スタイル(Animation/Sketch/Illustration)、端末側実行。開発者は API で統合可能(01:29:17)
- Image Wand:Notes で Apple Pencil で粗いスケッチを囲むと Image Wand が洗練された画像に変換。空白領域を囲むとコンテキストから推論(01:32:15)
- Photos Clean Up:背景の邪魔な要素を自動識別・除去。自然言語で写真/ビデオの特定の瞬間を検索。記述式 Memory Movie 生成(01:33:02)
- Priority Notifications / Reduce Interruptions:優先通知を上部に固定。新 Focus モードが通知内容に基づき即時注意が必要な情報を選択的に表示(01:26:56)
- ChatGPT 統合:Siri が必要と判断したら許可を求めて GPT-4o を呼び出し。Compose ライティングツールが ChatGPT でコンテンツと画像を生成。アカウントなしで無料、サブスクライバーはアカウント接続可能(01:36:39)
- 対応デバイス:iPhone 15 Pro、iPad と Mac M1 以降。米国英語で初回リリース、秋 beta、一部機能と言語は今後 1 年で展開(01:40:56)
重要ポイント
-
App Intents を app に追加:Apple Intelligence は App Intents フレームワーク経由で app 機能を発見・呼び出す。SiriKit 採用済み app は一部強化を自動取得。新規プロジェクトは App Intents で操作を直接定義し、Siri が「Darkroom で昨日撮った写真にシネマフィルターを適用」のようなコマンドを実行できるようにする。価値がある理由:Siri のクロス app 編成能力が登場後、App Intents 対応 app が優先的に発見・呼び出される。始め方:app の核心操作を整理し、
AppIntentプロトコルでラップ。検索、編集、共有系の intent を優先。 -
Writing Tools と Image Playground API に対応:標準編集可能テキストビューは追加開発なしで Writing Tools を自動取得。Image Playground は数行で統合。価値がある理由:ユーザーは Notes、Mail、サードパーティ app で書き換えと要約に慣れる。未対応 app は機能不足に見える。始め方:標準テキストビューを使用していることを確認。画像創作が必要な場所で Image Playground API を呼び出す。
-
App Lock と選択的連絡先認可に合わせてプライバシー戦略を再構築:iOS 18 でユーザーは app をロック・非表示にし、連絡先を選択的に認可できる。全連絡先アクセスやバックグラウンドデータ読み取りに依存する app では、実行時権限が不足する可能性。価値がある理由:ユーザーが app をロックすると検索と通知から情報が消え、app が依存するデータを受け取れなくなる。始め方:連絡先、通知、バックグラウンド読み取りへの依存を監査。部分認可と App Lock 状態向けの降级体験を設計。
-
visionOS TabletopKit で卓上協作シナリオに参入:TabletopKit が平面アンカー API を提供。FaceTime spatial Personas と組み合わせ、ボードゲーム、製造ワークステーション、医療トレーニング app の低障壁エントリー。価値がある理由:Vision Pro エコシステムはまだ初期段階。卓上シナリオは競争が少なく、TabletopKit が空間アンカー開発の難易度を大幅に下げる。始め方:TabletopKit でボードゲームプロトタイプを作成し、平面アンカーと複数 Persona インタラクションを検証。
関連セッション
- Platforms State of the Union — 開発者視点のプラットフォーム全体更新、SDK 新 API と Xcode ツールチェーンの詳細
- 18 things from WWDC24 — WWDC24 主要発表のクイック概観
- Get started with Writing Tools — Writing Tools と app の連携、カスタムテキストビュー適応
- Meet Swift Testing — Swift Testing 新フレームワークの API 設計と XCTest 比較
- What’s new in Wallet and Apple Pay — 新チケットデザイン、サードパーティブラウザ Apple Pay、資金支払い
コメント
GitHub Issues · utterances