ToF (Time of Flight) AR
使用ToF AR打造身临其境的世界 —— 一种用于AR应用程序开发的高级开发者套件
*面向企业客户的新一代SDK -ToF AR Pro的发布公告： 了解更多>
ToF AR 模块
以下是 ToF AR 提供的模块的概述。 有关模块和数据格式的详情可以在开发文档中的ToF AR参考文章中找到。
ToF
ToF模块包含对深度相机的深度数据、置信度数据和点云数据的访问权限。 提供的功能包含：
- 数据检索
- 数据可视化
- 控制深度相机（帧速率、快门速度等）
Color
颜色模块提供对RGB相机数据的访问。 提供的功能包含：
- 数据检索
- 数据可视化
- 控制RGB相机（分辨率、自动对焦、自动曝光、白平衡等）
Plane
平面模块可实时识别深度相机图像内任何给定点的平面。 提供的功能包含：
- 平面数据检索
- Unity场景内对象的动态更新。
一次可以获取/设置最多八个检测配置。 如果设置为空或空配置列表，平面检测将停止执行。
Mesh
网格模块根据深度相机图像实时生成 3D 网格。 提供的功能包含：
- 顶点或三角形数据检索
- Unity 场景内网格对象的动态更新
- 网格密度控制
- 网格生成不包括从分段组件生成的遮罩部分
Coordinate
坐标模块提供了一种在深度相机和RGB 相机的不同坐标系之间进行转换的方法。 主要用于通过获取模块属性来检索转换后的坐标数据。
Hand
手部模块利用深度相机数据实时识别手部和手指的关节位置、姿势和手势。
MarkRecog
MarkRecog模块识别位于二进制图像内的可选标记。MarkRecog主要支持以下功能：
- 识别图像内部的标记。
Modeling
建模模块在多个帧上累积深度相机的深度数据并生成3D网格数据。 主要提供以下功能：
- 开始/结束3D建模过程
- 设置3D建模参数
- 输出数据
- 网格生成（不包括从Segmentation模块生成的遮罩部分）
ARFoundationConnector
通过使用ARFoundationConnector，可以在同一个Unity项目中同时使用ARFoundation和ToF AR。
由于ToF AR目前不直接控制相机的下层数据，而是使用ARFoundation获得的RGB或ToF相机的输出数据帧来操作手部和身体识别过程。 因此，无论ARFoundation是否存在，开发人员都可以使用相同的接口从ToF AR接收数据帧。
Body
身体模块执行身体识别相关处理并向应用程序提供识别结果数据。 该模块包含以下功能：
- 根据深度相机图像进行人体识
- 人体识别结果显示
- 肢体动作识别
AR Foundation Human Stencil / Human Depth
从AR Foundation获取人体模板数据和人体深度数据，并为iOS创建蒙版纹理。
HumanDetector
通过估计彩色相机图像中的人体部位来创建蒙版纹理。
Face
面部模块识别执行人脸识别相关处理并向应用程序提供识别结果数据。 包含以下功能：
- 以AR Foundation 容格式输出人脸识别数据和 BlendShape数据
- 显示人脸识别结果
- 显示视线识别结果
Segmentation
Segmentation模块执行Segmentation识别相关处理并向应用程序提供识别结果数据。 主要提供以下功能：
- 通过从彩色相机图像估计天空部分来创建蒙版纹理（使用 SkyDetector 时）
- 通过从彩色相机图像中估计人物部分来创建蒙版纹理（使用 HumanDetector 时）
SkyDetector
通过估计彩色相机图像的天空部分来创建蒙版纹理。
ToF AR如何满足您的需求？
ToF AR为开发平台赋能新的功能，以促进更好的性能和用户体验。 在下表中，您可以看到各平台ToF AR所支持的模块。
SDK | ARCore | ARKit | ToF AR |
|---|---|---|---|
SDK Developer | ARCore | ARKit Apple | ToF AR Sony Semiconductor Solutions Group |
SDK Platform | ARCore Android | ARKit iOS | ToF AR Android, iOS |
SDK SLAM | ARCore ✓ | ARKit ✓ | ToF AR |
SDK Plane Detection | ARCore ✓ | ARKit ✓ | ToF AR ✓ |
SDK Light estimation | ARCore ✓ | ARKit ✓ | ToF AR |
SDK Face tracking | ARCore ✓ | ARKit ✓ | ToF AR |
SDK 2D image tracking | ARCore ✓ | ARKit ✓ | ToF AR |
SDK 3D object tracking | ARCore | ARKit ✓ | ToF AR |
SDK Meshing | ARCore | ARKit ✓ | ToF AR ✓ |
SDK 2D & 3D body tracking | ARCore | ARKit ✓ | ToF AR ✓ |
SDK Human segmentation | ARCore | ARKit ✓ | ToF AR ✓ |
SDK Access depth map | ARCore | ARKit ✓ (Fused) | ToF AR ✓ |
SDK 3D hand joint tracking | ARCore | ARKit | ToF AR ✓ |
SDK Hand pose recognition | ARCore | ARKit | ToF AR ✓ |
SDK Hand gesture detection | ARCore | ARKit | ToF AR ✓ |
SDK | ARCore | ARKit | ToF AR |
SDK ✓ = Verified from each developer's publicly accessible information. | ARCore | ARKit | ToF AR |