Apple Immersive Video のライブ制作ツールを構築する

ハイライト

Apple Immersive Video のライブ制作では、ProRes でエンコードされたビデオ、ASAF 空間オーディオ、JSON メタデータを SMPTE 2110 の IP 伝送標準で扱います。AVFoundation、VideoToolbox、Immersive Media Support フレームワークを使うことで、劣化のない収録と再生のワークフローを実現できます。

主要内容

従来の 2D ライブ配信と没入型ライブ配信の違いは、本質的には「家で試合を見る」体験と「現地にいる」体験の差です。

今年の早い時期に、Apple は Spectrum SportsNet と NBA アプリを通じて、LA Lakers の試合を Apple Vision Pro でリアルタイムの没入型ライブ配信として初めて提供しました。視聴者は通常は座れないコートサイドの席にいるように、実際の試合を見て、会場の歓声を感じられます。

この体験の裏側には、まったく新しい制作フローがあります。

従来の 2D 放送の映像解像度は 4K ですが、没入型ビデオでは 8K の立体解像度が必要です。これは従来信号の約 32 倍です。フレームレートも 2 倍にする必要があります。音声についても、従来のステレオや 5.1 サラウンドでは足りません。Apple Spatial Audio Format (ASAF) は 64 以上のチャンネルをサポートでき、視聴者を空間オーディオで包み込みます。

この膨大なデータ量により、従来の放送ツールや伝送方式では対応しきれません。Apple はワークフロー全体を設計し直しました。

制作領域: カメラ、マイク、グラフィックジェネレータなどの機器がコンテンツを取得し、ビデオスイッチャーでリアルタイム制作を行います。

伝送領域: エンコード済みのコンテンツを IP ネットワークで視聴者へリアルタイムに伝送します。

従来の放送では非圧縮ビデオがよく使われますが、没入型ビデオではデータ量が大きすぎるため現実的ではありません。Apple はエンコード形式として ProRes を選びました。ProRes は画質と帯域幅のバランスがよく、さらに Apple Silicon は ProRes 処理向けにハードウェアアクセラレーションを備えています。

伝送層には SMPTE 2110 標準を使います。これはプロ向けメディアの IP 伝送における業界標準で、RTP プロトコルを使ってネットワーク上でメディアを運びます。2110-22 は圧縮ビデオ、2110-30 はオーディオ、2110-41 はユーザー定義メタデータ、たとえばレンズキャリブレーションデータ、クリエイティブイベント、モーションデータを伝送します。

この標準がもたらす最大の利点は、劣化のないワークフローです。従来の 2D 制作では、ビデオのエンコード、デコード、再エンコードによって世代を重ねるごとに品質が落ちます。一方、没入型ビデオでは全工程で ProRes を使います。ファイルへ収録するときも追加のエンコードは不要で、ProRes フレームを MOV コンテナへそのままコピーし、再生時に読み出して伝送します。最初から最後まで元の品質を保てます。

詳細

メディア形式の構成

Apple Immersive Live Video (02:53)

Apple Immersive Live Video は、完全にストリーミングされる ProRes フレームで構成されます。従来の放送カメラが非圧縮ビデオフレームを使うのに対し、ProRes は高い忠実度を保ったまま、信号を実用的なサイズに圧縮します。

ビデオ解像度は 8K 立体で、従来の 2D 放送の 32 倍です。フレームレートも従来制作の 2 倍です。これらの数字は、人間の視覚の鋭さに合わせ、視聴者に「本当にそこにいる」と感じてもらうためのものです。

ASAF 空間オーディオ (02:45)

Apple Spatial Audio Format (ASAF) のミックスは、標準的な非圧縮 PCM オーディオトラックで構成され、高次 ambisonic ベッドと空間オーディオオブジェクトを運びます。ASAF ミックスは 64 以上のチャンネルを含むことができ、豊かな空間オーディオ体験に視聴者を没入させます。

メタデータ形式 (02:41)

メタデータはフレームごとの JSON オブジェクトとして渡され、関連するビデオとオーディオのフィードを説明する属性を含みます。たとえばレンズキャリブレーション、クリエイティブイベント、空間オーディオの挙動などです。

SMPTE 2110 伝送標準

2110-22: 圧縮ビデオ伝送 (03:05)

没入型 ProRes ビデオは、IP 上の圧縮メディア標準である 2110-22 ストリームとしてネットワーク上を伝送されます。この 2110-22 ストリームには、没入型コンテンツの左目と右目が 2 つの独立した essence として含まれますが、単一のストリーム内に収まります。

つまり、それぞれの目のフレームを 1 つの画像ラスターへ詰め込む必要も、目ごとに別々の IP ストリームを作る必要もありません。制作アーキテクチャで左右のビデオフィードを個別に管理する複雑さを取り除けます。

2110-30: オーディオ伝送 (03:46)

ASAF オーディオは、標準的な 2110-30 ストリームとしてネットワーク上を伝送されます。これらには、ASAF 空間オーディオミックスを構成する高次 ambisonic チャンネルとオーディオオブジェクトチャンネルが含まれます。

2110-41: メタデータ伝送 (04:11)

JSON オブジェクトは、IP 上のユーザー定義メタデータ伝送標準である 2110-41 によってフレームごとに送られます。レンズキャリブレーション、クリエイティブイベント、モーションデータなどの重要なメタデータを、-22 ビデオと -30 オーディオのフィードと並行してリアルタイムに運びます。

劣化のない収録と再生

ProRes の利点 (04:25)

従来の 2D ワークフローでは、リアルタイムビデオをファイルへ収録するときに、エンコード、デコード、再エンコードが発生し、画質が低下します。Apple Immersive Video では、わずかな品質低下でも顧客体験に大きく影響します。特に、圧縮と展開を何度も繰り返すことで世代劣化が蓄積すると、その影響は大きくなります。

没入型形式はこの問題を解決します。すべてが ProRes だからです。

ファイルへの収録 (04:47)

リアルタイムメディアは、ファイルに適した ProRes ペイロードとしてネイティブに生成されるため、ディスクへの収録に追加のエンコードやデコードは不要です。同じ ProRes フレームを MOV ファイルへ直接コピーし、再生時にはリアルタイム 2110 ストリームとして読み戻します。途中で処理は加わりません。

実際には、リアルタイムコンテンツをカメラで生成し、機器間で伝送し、ディスクへ収録し、編集し、繰り返しプレイアウトしても、品質に影響を与えないということです。

MOV ビデオトラックへの書き込み (06:47)

AVFoundation の AVAssetWriter を使い、ビデオフィードを QuickTime MOV のビデオトラックへ保存します。

import VideoToolbox

let compressionProperties: [String: Any] = [
    // ...
    kVTCompressionPropertyKey_ProjectionKind as String: kVTProjectionKind_AppleImmersiveVideo
    // ...
]

ポイント:

kVTProjectionKind_AppleImmersiveVideo は新しい VideoToolbox プロパティです
正しい VEXU (Video Extended Usage) 静的メタデータをファイルへ追加します
このメタデータは、他のアプリにそのファイルが没入型コンテンツであることを示します
生成される MOV ファイルには、リアルタイムストリームと同じ未変更の解像度、フレームレート、立体画像データが含まれます

オーディオトラックへの書き込み (06:30)

オーディオフィードは通常どおり保存します。2110 ストリーム内の非圧縮 PCM を、AVAssetWriter で MOV のオーディオトラックへ直接書き込みます。

メタデータトラックへの書き込み (06:41)

ストリーミング JSON データは、AVAssetWriter を使って MOV コンテナ内の Metadata Box Exchange format (MEBX) トラックへ書き込みます。保存前に、ストリーミング JSON データをデシリアライズして解析し、Immersive Media Support (IMS) フレームワークでレンズキャリブレーションオブジェクト、カメラ ID、その他のメタデータオブジェクトを作成します。これらはビデオとオーディオに同期して MOV へ書き込まれます。

Immersive Media Support フレームワーク

IMS の概要 (07:09)

IMS は visionOS 26 で初めて導入されました。Apple Immersive Video の基本メタデータの読み書きをサポートし、クリエイティブワークフロー内でコンテンツをプレビューする機能も提供します。

没入型ビデオとオーディオは、AVFoundation、VideoToolbox、Core Audio といったよく知られた技術によってすでに支えられていますが、IMS は Apple Immersive Video のために特化して構築された強力なフレームワークです。

ファイル再生ワークフロー (07:49)

ファイル再生の場面では、すべての処理が逆向きになります。ビデオ、オーディオ、メタデータの各メディアタイプを MOV 内のトラックから直接読み出し、同じフレームワークとライブラリを使って 2110 出力ストリームへ再伝送し、より広い制作環境で利用します。

重要な着想

1. リアルタイム没入型ストリーム分析ツール

作るもの: AVFoundation を使って 2110-22 ビデオストリーム内の ProRes フレームを解析し、ビットレート、フレームレート、立体視差などの品質指標をリアルタイムに監視して、制作中に潜在的な問題を見つけます。

価値がある理由: 8K 立体ビデオのデータ量は従来の 2D の 32 倍です。少しの品質低下でも視聴体験に大きく影響します。リアルタイム監視なら、視聴者から苦情が届いてから調査するのではなく、問題が起きた時点で検出できます。

始め方: AVAssetReader で 2110-22 ストリームを読み、VideoToolbox デコーダーと組み合わせて ProRes フレームを解析します。フレームレートやビットレートなどのメタデータを取り出し、リアルタイム監視に使います。入口: AVAssetReader + VideoToolbox デコーダー

2. メタデータ検証ツール

作るもの: IMS フレームワークで 2110-41 ストリーム内の JSON メタデータを解析し、レンズキャリブレーションデータの有効性を検証し、モーションデータの整合性を確認して、伝送されるメタデータが制作標準を満たしていることを保証します。

価値がある理由: メタデータはビデオ、オーディオと並行してリアルタイム伝送されます。レンズキャリブレーションデータに誤りがあると、映像の歪みや空間位置のずれなどにより、視聴者の没入体験はすぐに壊れます。自動検証により、放送前にエラーを止められます。

始め方: ImmersiveMediaSupport フレームワークのメタデータ解析 API で 2110-41 ストリームの JSON を読み、レンズパラメータやカメラ ID などの重要フィールドについて、完全性と数値範囲を検証します。入口: ImmersiveMediaSupport フレームワークのメタデータ解析 API

3. インスタントリプレイシステム

作るもの: 低遅延のインスタントリプレイツールを構築し、リアルタイム 2110 ストリームを MOV ファイルへ直接書き込み、すぐに読み出して再生します。全工程で ProRes の劣化のない品質を保ちます。

価値がある理由: 従来の収録ではエンコードと再エンコードが必要で、繰り返すたびに品質が落ちます。Apple Immersive Video は全工程で ProRes を使うため、収録時に ProRes フレームを MOV コンテナへ直接コピーし、再生時に読み出して伝送できます。品質損失はゼロです。

始め方: AVAssetWriter で 2110 ストリームの ProRes フレームを MOV ビデオトラックへ直接書き込み、PCM オーディオをオーディオトラックへ書き込み、JSON メタデータは IMS フレームワークで解析してから MEBX トラックへ書き込みます。再生時は AVAssetReader で各トラックを読み出し、2110 ストリームとして再構成します。入口: AVAssetWriter による書き込み + AVAssetReader による読み出し

4. 空間オーディオ監視ツール

作るもの: 2110-30 ストリーム内の ASAF オーディオを解析し、64 以上のチャンネルの空間配置を可視化して、オーディオエンジニアがリアルタイムにミックスバランスを調整できるようにします。

価値がある理由: ASAF ミックスには 64 以上のチャンネルが含まれ、従来のステレオ監視ツールでは空間分布を表現できません。可視化ツールにより、オーディオエンジニアは各チャンネルの空間位置とレベルを直感的に確認でき、ミックスの問題を素早く見つけられます。

始め方: AVAudioEngine で 2110-30 ストリームの PCM データを受け取り、Core Audio の ambisonic デコード機能で ASAF 形式を解析し、各チャンネルの空間位置を可視化 UI としてレンダリングします。入口: AVAudioEngine + Core Audio ambisonic デコード

5. ネットワーク遅延監視ツール

作るもの: SMPTE 2110 RTP ストリームの伝送タイムスタンプを監視し、エンドツーエンド遅延を計算して、ネットワーク設定とデバイス同期の最適化を支援します。

価値がある理由: 没入型ライブ配信では同期要件が非常に厳しく、ビデオ、オーディオ、メタデータの 3 つのストリームを正確にそろえる必要があります。RTP タイムスタンプのドリフトは音声と映像のずれを生み、視聴体験に直接影響します。

始め方: RTP パケットヘッダー内のタイムスタンプフィールドを解析し、送信側と受信側のタイムスタンプ差を比較して、エンドツーエンド遅延を計算します。しきい値アラートを設定し、遅延が基準を超えたら制作チームにネットワーク設定の調整を通知します。入口: RTP パケット解析 + タイムスタンプ比較分析