ToF (Time of Flight) AR
ToF ARーARアプリケーション開発の為の進化したツールキットで、没入感のある世界を創造しませんか
*企業向け次世代ToF AR "Pro"のリリースと一般公開ToF ARに関してのお知らせ
ToF AR コンポーネント
ToF ARが提供するコンポーネントの概要を紹介します。更に詳しい説明やデータフォーマットは開発ガイドのToF AR reference articlesよりご覧いただけます。
ToF
ToFコンポーネントはToFカメラのDepthデータ、Confidenceデータ、PointCloudデータへのアクセス機能を提供します。主な機能は下記になります。
- データの取得
- データの表示
- ToFカメラのコントロール（フレームレート、露出時間の変更など）
Color
ColorコンポーネントはRGBカメラデータへのアクセス機能を提供します。主な機能は下記になります。
- データの取得
- データの表示
- RGBカメラのコントロール（解像度、オートフォーカス、自動露出、ホワイトバランスの設定など）
Plane
PlaneコンポーネントはDepthカメラ映像内の指定ポイントを含む平面をリアルタイムに認識する機能を提供します。主な機能は下記になります。
- 平面情報の取得
- Unityシーン内での動的オブジェクト化
最大8つまでの認識設定を一括して指定/取得できます。 nullまたは要素数0の設定リストを指定すると平面認識は実行されなくなります。
Mesh
MeshコンポーネントはDepthカメラ映像から3Dメッシュをリアルタイムに生成する機能を提供します。主な機能は下記になります。
- 頂点やトライアングルデータの取得
- Unityシーン内での動的Meshオブジェクト化
- Meshの軽量化制御
- Segmentationコンポーネントが生成したマスク部分を除外したメッシュの生成
Coordinate
Coordinateコンポーネントは解像度が異なるDepthカメラ映像とRGBカメラ映像、3Dカメラの座標相互変換を行う機能を提供します。 本機能はコンポーネントプロパティにアクセスすることにより変換後の座標データを取得することができます。
Hand
HandコンポーネントはToFカメラ映像から人の手や指の関節の位置をリアルタイムに認識する機能を提供します。
MarkRecog
MarkRecogコンポーネントは任意の2値画像内のマークを認識する機能を提供します。主な機能は下記になります。
- 画像内のマーク認識
Modeling
Modelingコンポーネントは複数フレームに渡るToFカメラのDepthデータを蓄積し、3D Meshデータを生成する機能を提供します。主な機能は下記になります。
- 3Dモデリング処理の開始/終了
- 3Dモデリングパラメータの設定
- データの出力
- Segmentationコンポーネントが生成したマスク部分を除外したメッシュの生成
ARFoundationConnector
ARFoundationConnectorを使うことで、Unity Project 上で AR Foundation と ToF AR を共存させることができます。この時、ToF AR は下位レイヤのカメラを直接制御せず、AR Foundation から得られる RGB や ToF カメラの出力データフレームを使用し、Hand や Body などの認識処理を動作させます。このため、アプリ開発者は AR Foundation の有無にかかわらず ToF AR から同じインタフェースでデータフレームを受け取ることができます。
Body
BodyコンポーネントはBody認識関連の処理を行い、認識結果データを取得する機能を提供します。主な機能は下記になります。
- ToFカメラ映像からBodyを認識
- Body認識結果の表示
- Bodyジェスチャーの認識
AR Foundation Human Stencil / Human Depth
AR FoundationからHuman Stencil データ、Human Depthデータを取得し、マスクテクスチャを作成する機能を提供します。iOSでのみ使用可能です。
HumanDetector
Colorカメラ映像から人物部分の推定を行い、マスクテクスチャを作成する機能を提供します。
Face
FaceコンポーネントはFace認識関連の処理を行い、認識結果データを取得する機能を提供します。主な機能は下記になります。
- AR Foundationに準拠したフォーマットのFace認識データ、BlendShapeデータ出力
- Face認識結果の表示
- 視線認識結果の表示
Segmentation
SegmentationコンポーネントはSegmentation認識関連の処理を行い、認識結果データを取得する機能を提供します。主な機能は下記になります。
- Colorカメラ映像から空部分の推定を行い、マスクテクスチャを作成(SkyDetector使用時)
- Colorカメラ映像から人物部分の推定を行い、マスクテクスチャを作成(HumanDetector使用時)
SkyDetector
Colorカメラ映像から空部分の推定を行い、マスクテクスチャを作成する機能を提供します。
開発のニーズに合ったToF ARを選択頂けます
ToF ARは各プラットフォームが提供する機能を更に広げる事を可能にし、開発者の皆様が一段と高いパフォーマンスを実現することをお手伝いします。下記の表より各プラットフォームごとのToF ARコンポーネントサポートをご確認頂けます。
SDK | ARCore | ARKit | ToF AR |
|---|---|---|---|
SDK Developer | ARCore | ARKit Apple | ToF AR Sony Semiconductor Solutions Group |
SDK Platform | ARCore Android | ARKit iOS | ToF AR Android, iOS |
SDK SLAM | ARCore ✓ | ARKit ✓ | ToF AR |
SDK Plane Detection | ARCore ✓ | ARKit ✓ | ToF AR ✓ |
SDK Light estimation | ARCore ✓ | ARKit ✓ | ToF AR |
SDK Face tracking | ARCore ✓ | ARKit ✓ | ToF AR |
SDK 2D image tracking | ARCore ✓ | ARKit ✓ | ToF AR |
SDK 3D object tracking | ARCore | ARKit ✓ | ToF AR |
SDK Meshing | ARCore | ARKit ✓ | ToF AR ✓ |
SDK 2D & 3D body tracking | ARCore | ARKit ✓ | ToF AR ✓ |
SDK Human segmentation | ARCore | ARKit ✓ | ToF AR ✓ |
SDK Access depth map | ARCore | ARKit ✓ (Fused) | ToF AR ✓ |
SDK 3D hand joint tracking | ARCore | ARKit | ToF AR ✓ |
SDK Hand pose recognition | ARCore | ARKit | ToF AR ✓ |
SDK Hand gesture detection | ARCore | ARKit | ToF AR ✓ |
SDK | ARCore | ARKit | ToF AR |
SDK ✓ = Verified from each developer's publicly accessible information. | ARCore | ARKit | ToF AR |
こちらからスタート
ToF ARを使って開発をスタートするのは簡単です。必要なのは、ツールキットのインストールとガイドを読むだけです。
ToF ARニュースレターでは大切なご連絡事項や最新アップデートのニュースを発信しています。この機会に是非ご登録下さい。こちらよりご登録頂けます。