Explore machine learning on Apple platforms

Highlight

Apple プラットフォームの機械学習能力は 4 層に分かれます。システム組み込みインテリジェンス、ML 駆動のシステム API、Create ML によるカスタマイズ、Core ML によるデプロイです。

主要内容

このセッションは Apple プラットフォームの機械学習を 4 層に分けて説明します。

第 1 層はシステム組み込みインテリジェンスで、Apple Intelligence を通じてアプリで直接使用します。Writing Tools は書き換え、校正、要約を提供し、システムのテキストビューと Web ビューに統合されます（02:24）。Image Playground は端末上の画像生成を提供し、数行のコードで構築済み UI が得られ、モデルはローカルで動作し、ユーザーは無制限に画像を生成できます（03:01）。Siri は App Intents を通じてアプリ機能を理解・実行し、今年はより自然でパーソナライズされ、文脈に即した体験を提供します（03:27）。

第 2 層は ML 駆動のシステム API です。Vision は今年 Swift API（Swift 6 対応）、手のポーズ検出、美学スコアリングリクエストを追加しました（04:23）。新しい Translation フレームワークは直接翻訳 API と翻訳 UI を提供し、テキストの一括翻訳をサポートします（05:11）。Natural Language、Sound Analysis、Speech などのフレームワークは引き続きテキスト分析、音声認識、音声テキスト変換を提供します。

第 3 層は Create ML で、独自データでシステムモデルをカスタマイズします。今年はオブジェクト追跡テンプレート（visionOS 上の空間体験のアンカー用）、時系列分類/予測コンポーネント、データアノテーションの可視化が追加されました（06:40）。

第 4 層は Core ML で、カスタムモデル（Hugging Face からの Whisper、Stable Diffusion、Mistral などのオープンソースモデルを含む）をデプロイします。ワークフローは 3 段階：学習（Mac 上で PyTorch/TensorFlow/JAX/MLX、Metal 加速）→ 準備（Core ML Tools による変換と最適化）→ 統合（Core ML フレームワークによる読み込みと推論）（07:51）。

詳細

Apple の端末上機械学習は Apple シリコンの統一メモリアーキテクチャ上に構築され、CPU、GPU、Neural Engine の ML アクセラレータが協調して効率的で低遅延の推論を実現します（00:59）。これにより、ジェスチャー認識、ポートレートモード、ECG、心拍数モニタリングなどの機能が完全に端末上で動作し、インタラクティブかつプライバシーを保護できます（00:22）。

Apple Intelligence：システム組み込みインテリジェンス

Writing Tools は Apple Intelligence の新しい言語能力で、システムのテキストビューと Web ビューに直接統合されます。ユーザーはアプリ内で書き換え、校正、要約を追加開発なしで利用できます。「Get started with Writing Tools」（10168）でベストプラクティスを確認してください（02:24）。

Image Playground は端末上の画像生成を提供します。モデルの学習や安全ガードレールの設計は不要で、数行のコードで構築済み UI が得られます。モデルはローカルで動作するため、ユーザーは無制限に画像を生成できます（03:01）。

Siri は App Intents フレームワークを通じて今年大きく改善され、より自然な音声、よりパーソナライズされ、より文脈に即した体験を提供します。「Bring your app to Siri」（10133）でアプリの Siri 能力を強化する方法を確認してください（03:27）。

ML 駆動のシステム API

Vision は今年 Swift 6 対応の全く新しい Swift API を提供します。新機能には手のポーズ検出（Body Pose リクエストの一部）と美学スコアリングリクエストが含まれます（04:23）。「Discover Swift enhancements in the Vision framework」（10163）で視覚理解を簡単に統合する方法を確認してください。

Translation フレームワークは今年新しく追加された言語翻訳フレームワークで、2 つの統合方法を提供します。シンプルな翻訳 UI（プログラムから起動可能）と直接翻訳 API（任意の UI に出力を表示）。一括リクエストでより多くのテキストを効率的に翻訳できます（05:11）。「Meet the Translation API」（10117）で言語リソースのダウンロードと管理を確認してください。

Natural Language、Sound Analysis、Speech などのフレームワークは引き続きテキスト分析、音声認識、音声テキスト変換を提供します（04:49）。

Create ML：独自データでモデルをカスタマイズ

Create ML は独自データでシステムフレームワークを駆動するモデルをカスタマイズできます。Create ML アプリはテンプレート選択、数クリックでの学習、評価、反復を提供します。内部では Create ML と Create ML Components フレームワークがすべてのプラットフォームでアプリ内モデル学習をサポートします（06:07）。

今年の新機能：

オブジェクト追跡テンプレート：参照オブジェクトを学習し visionOS 上で空間体験をアンカー（06:40）
データアノテーション可視化：学習前にアノテーションをより簡単に探索・確認（06:52）
時系列分類・予測コンポーネント：フレームワーク内に統合可能（06:59）

詳細は「What’s new in Create ML」（10183）を参照（07:07）。

Core ML ワークフロー：学習、準備、統合

より高度なユースケース（微調整済み拡散モデルや Hugging Face からの大規模言語モデル）では、Core ML が完全なワークフローを提供します。3 段階に分かれます（07:51）：

# フェーズ 1：学習（Mac 上で PyTorch/TensorFlow/JAX/MLX を使用）
# Apple シリコンと統一メモリアーキテクチャを活用し、Metal で学習を高速化

import torch
import coremltools as ct  # フェーズ 2：準備（Core ML Tools で変換）

# PyTorch モデルから開始
torch_model = MyTrainedModel()
torch_model.eval()

# Core ML 形式へ変換
mlmodel = ct.convert(
    torch_model,
    inputs=[ct.TensorType(shape=(1, 3, 224, 224), dtype=np.float32)]
)

# モデルを最適化（量子化、圧縮など）
mlmodel = ct.optimization.layerwise_compression(mlmodel)

# Core ML モデルを保存
mlmodel.save("MyModel.mlmodel")

キーポイント:

torch_model.eval() で推論モードを保証し、dropout など学習固有の動作を無効化
ct.convert() で PyTorch モデルを Core ML 形式に変換し、入力テンソルの形状とデータ型を指定
ct.optimization.layerwise_compression() でレイヤー単位の圧縮によりモデルサイズを削減
mlmodel.save() で .mlmodel ファイルとして保存し、Xcode で直接使用可能

// フェーズ 3：統合（Core ML フレームワークで読み込みと推論を実行）
import CoreML

struct ModelPredictor {
    let model: MyModel
    
    init() throws {
        // bundle からコンパイル済みモデルを読み込む
        self.model = try MyModel(configuration: MLModelConfiguration())
    }
    
    func predict(image: CVPixelBuffer) throws -> MyModelOutput {
        // 推論を実行
        let input = MyModelInput(image: image)
        return try model.prediction(input: input)
    }
}

キーポイント:

MyModel(configuration:) でバンドルからモデルを読み込み、計算ユニット（CPU/GPU/Neural Engine）を設定可能
MyModelInput でモデル入力を型安全にラップ
model.prediction(input:) で推論を実行し、型付き出力を返す
Core ML は CPU、GPU、Neural Engine 間でモデルを自動分割し、ハードウェア利用率を最大化

学習段階（08:28）：

Apple シリコンと統一メモリアーキテクチャを活用
PyTorch、TensorFlow、JAX、MLX をサポート
Metal 経由で Apple GPU 上で効率的に学習
「Train your machine learning and AI models on Apple GPUs」（10160）を参照

準備段階（09:14）：

Core ML Tools で学習済みモデルを Core ML 形式に変換
圧縮技術でモデルを最適化し、良好なパフォーマンスを実現
今年の新機能：新しいモデル圧縮技術、モデル状態表現、Transformer 固有の操作、マルチ関数モデルサポート
「Bring your machine learning and AI models to Apple silicon」（10159）でストレージサイズ、レイテンシ、精度のトレードオフを確認

統合段階（10:16）：

Core ML は Apple デバイス上でモデルをデプロイするゲートウェイで、数千のアプリが使用
Xcode 統合で開発ワークフローを簡素化
CPU、GPU、Neural Engine 間でモデルを自動分割
「Deploy machine learning and AI models on-device with Core ML」（10161）で新機能を確認：
- 新しい MLTensor 型で計算の接着コードを簡素化
- 大規模言語モデルのキーバリューキャッシュの状態管理
- 実行時に画像生成モデルの特定スタイルアダプターを選択する関数
- 操作ごとのコストに関するより詳細なインサイトを提供する更新されたパフォーマンスレポート

低レベルフレームワーク：MPS Graph と BNNS Graph

Core ML の自動管理では不十分な場合、より低レベルのフレームワークを使用します（11:41）：

MPS Graph（12:25）：

Metal Performance Shaders 上に構築
Core ML モデルの読み込み、または計算グラフのプログラム的な構築、コンパイル、実行が可能
グラフィックスワークロードが重いアプリ向け。ML タスクを他のワークロードとスケジュール
「Accelerate machine learning with Metal」（10218）で GPU 上の Transformer の効率的実行を確認

BNNS Graph（13:12）：

Accelerate フレームワークの新 API。CPU 上で ML モデルを最適化実行
従来のカーネルベース BNNS API より大幅に高速
Core ML モデルをサポートし、CPU 上でリアルタイムかつ遅延に敏感な推論を実現
メモリ割り当てを厳密に制御。オーディオ処理などのユースケースに適する

研究ツール：MLX と CoreNet

Apple は機械学習研究を支援する研究ツールをオープンソース化しました（14:47）：

MLX（15:09）：

Apple の ML 研究者が他の研究者向けに設計
Apple シリコン上で新しいアイデアを探索するための馴染みやすく拡張可能な API
統一メモリモデルに基づき、CPU と GPU 間の効率的な操作をサポート
Python、C++、Swift をサポート

CoreNet（15:42）：

研究者とエンジニア向けの強力なニューラルネットワークツールキット
標準的から新規アーキテクチャまで幅広いモデルの学習をサポート
多様なタスクに合わせて拡張・縮小可能
OpenELM を含む効率的な言語モデルファミリー

重要ポイント

システム組み込みインテリジェンスと ML 駆動 API を優先する

価値：Apple Intelligence、Writing Tools、Image Playground、Vision、Translation などのシステムレベル機能は十分に最適化・テスト済み。統合コストが低く、ユーザー体験が良い。

始め方：Writing Tools と Image Playground は数行のコードで統合可能。Vision の新 Swift API はより使いやすい。Translation はすぐ使える翻訳 UI を提供。類似機能を自分で学習するよりこれらを優先。
Create ML は独自データによるカスタマイズが必要な中級シナリオに適する

価値：システムモデルが特定の要件を満たさない場合、Create ML は独自データでモデルをカスタマイズする低いハードルの方法を提供。深い ML の専門知識は不要。

始め方：Create ML アプリで適切なテンプレートを選び、独自データで学習、評価、反復。新しいオブジェクト追跡テンプレートは visionOS 空間体験向け。時系列コンポーネントは予測系アプリ向け。
Core ML ワークフローはカスタムモデルとオープンソースモデルのデプロイに適する

価値：事前学習済みオープンソースモデル（Whisper、Stable Diffusion、Mistral）や独自学習モデルが必要な場合、Core ML は Apple ハードウェア加速を活用した完全な端末上デプロイを提供。

始め方：Mac 上で PyTorch/TensorFlow/JAX/MLX で学習し、Core ML Tools で変換・最適化し、Core ML フレームワークで統合。MLTensor、状態、関数などの新機能で生成 AI モデルのデプロイを簡素化。
細粒度の制御が必要な場合は MPS Graph または BNNS Graph を使用

価値：Core ML の自動管理がパフォーマンスやレイテンシ要件を満たせない場合、MPS Graph と BNNS Graph はより低レベルの制御を提供。

始め方：MPS Graph はグラフィックスワークロードが重いアプリ向け。ML タスクを他の GPU ワークロードとスケジュール。BNNS Graph はオーディオ処理など CPU 上のリアルタイムで遅延に敏感な推論向け。