Discover area mode for Object Capture

Highlight

Area mode 跳过 bounding box 检测步骤，直接用 startCapturing 即可进入户外区域扫描，配合 Mac 端 Quad Mesh 和 16K 纹理可产出影视级 3D 模型。

核心内容

Object Capture 之前的物体模式要求你围绕一个可移动的物体走一圈、设置 bounding box、再逐面拍摄。这对桌面上的花瓶很好用，但遇到户外地形、靠墙的浮雕、无法绕行的岩壁就力不从心——你根本没法走一圈，也没法把整面山坡翻过来扫底部。

Area mode 专为这类场景设计。它去掉了 bounding box 检测环节，将准星变成一把”刷子”：你在表面上方缓慢移动，系统自动连拍并重叠。拍摄完毕还可以用新增的 camera pose visualization 回查覆盖范围，确保在离开现场前拿到足够数据。模型直接在 iPhone 上生成，也可以导出到 Mac 做更高质量的处理。

在 Mac 端，今年新增了 Quad Mesh 输出和最高 16K 纹理。Quad Mesh 带有合理的 edge loop，方便在 Blender 等 DCC 工具中做 UV 编辑和骨骼绑定；16K 纹理则让大场景和 VFX 离线渲染的细节大幅提升。在统一内存充裕的 Mac 上，最多可处理 2000 张图片。此外，新的 Data Loading API 让你只需几行代码就能加载带深度、重力等元数据的 PhotogrammetrySample，并附加自定义 objectMask 来排除干扰前景。

详细内容

iOS 端：进入 Area Mode

去年的调用流程是 start -> startDetecting（设置 bounding box）-> startCapturing。Area mode 不需要新 API：直接跳过 startDetecting，调用 startCapturing 即可进入区域扫描 UI（03:41）。

同时建议用新增的 hideObjectReticle modifier 隐藏物体模式的准星框，让用户从一开始就明确处于区域模式（04:06）。

拍摄注意事项：

户外选择阴天或阴影处，避免硬阴影
沿规律路径缓慢移动，保证图片重叠
从不同高度拍多行，覆盖各角度
超过 6 英尺的区域建议在 Mac 上以高精度处理
支持 iPad Pro 2021、iPhone 12 Pro 及后续机型

Mac 端：Quad Mesh 与 16K 纹理

Mac 上的新 Sample App 提供可视化界面选择图片文件夹、设定输出类型。今年新增两种输出：

Quad Mesh：四边形网格，带 artist-friendly edge loop，适合后续 UV 编辑、骨骼绑定和动画
16K 纹理：自定义 detail level 最高 16K，大场景和离线渲染受益明显（05:19）

在统一内存充裕的 Mac 上可处理最多 2000 张图片（05:37）。

Data Loading API：自定义 Mask 与 Pipeline

当拍摄背景不可控或有动态遮挡物（如手挡住被摄物），可以给每张图片附加 objectMask，告诉重建算法哪些像素是前景。今年的新 API 让加载过程从数百行简化到几行：

func loadSampleAndMask(file: URL) -> PhotogrammetrySample? {
    do {
        var sample = try PhotogrammetrySample(contentsOf: file)
        sample.objectMask = try loadObjectMask(for: file)
        return sample
    } catch {
        return nil
    }
}

关键点：

PhotogrammetrySample(contentsOf:) 是新的同步初始化器，从图片文件自动加载 RGB、深度图、重力向量等所有可用元数据（08:30）
sample.objectMask 属性接收自定义位图 mask，将干扰区域排除出重建
失败时返回 nil，后续 compactMap 会自动跳过

func createCustomPhotogrammetrySession(for images: [URL]) -> PhotogrammetrySession {
    let inputSequence = images.lazy.compactMap { file in
        return loadSampleAndMask(file: file)
    }
    return PhotogrammetrySession(input: inputSequence)
}