LiDARを不要にする単眼距離推論ソリューション

概要

距離推論技術は、自動運転やロボティクス、AR/VRなどの分野で高い精度が求められますが、
従来の手法には大きな課題がありました。たとえば、距離測定において主流のLiDARは非常に高価で、設置場所に厳しい制約があるため、実用化の際のコスト面や環境適応性が大きな問題となっています。また、ステレオカメラも複数のカメラ間の精密なキャリブレーションが必要で、照明条件などの変動に弱いというデメリットが指摘されています。

こうした背景の中、近年、MiDASをはじめとするAIを活用した単眼距離推論アルゴリズムが注目を集めています。しかし、単眼距離推論技術においても、距離推論の精度向上は常に大きな課題となっており、特に絶対距離の算出は従来のアプローチでは十分な精度が得られにくい状況でした。

当社は、このような課題を解決するために、Toyota Research Institute（以下TRI）の単眼距離推論技術に着目し、USBカメラ1台を用いて安価かつ設置場所の制約が低いシステムの実現を目指しました。
独自に絶対距離付きのデータセットを作成し、このデータを用いて学習と精度検証を行った結果、従来の技術に比べて有望な精度が確認されました。特に、従来技術の欠点であった絶対距離推論の精度向上に成功し、実用への可能性を示唆するものとなりました。

この記事の内容に関しては、TRIが開発したAIモデルを基にしています。
詳細については以下のリンク「Monocular Depth in the Real World」をご参照ください。

• Monocular Depth in the Real World

使用したAIモデルについて

本距離推論技術は、LiDARなどによる距離データを学習の教師データとして扱うことなく高精度な距離推論を目指すものですが、
（技術についての詳細は Monocular Depth in the Real World の記事をご確認ください）

今回はその前段として、まずは推論精度を最大化することを目指し、 LiDARとカメラを組み合わせた"教師データ作成用システム"を独自に用意し、教師データの作成から学習、推論までを行いました。

また、入力画像に対する距離推論の出力は各ピクセルに対する、距離情報（絶対距離）です。

実際のユースケースを考えると、この距離情報を使用してある障害物までの距離を算出するなど、

"ピクセル"単位の距離からオブジェクトなどの"ある領域"単位での距離という情報として算出することでより実際に活用がしやすい形になるのではといった想定のもと、
物体検出（物体に対する矩形領域検出）と組み合わせることで、”各物体に対する距離”の情報が提示できるデモシステムを目指し、開発をしました。
なお、今回は物体検出モデルにYoloのv7を使用しました。

手順と構成

手順

• カメラ＋LiDARを用いて、現場にて教師データを作成
• 学習
• 距離推論
• 推論結果

教師データ作成用システム

当社の教師データ作成システムは、単眼カメラとLiDARを組み合わせて使用しています。LiDARによって取得した距離情報を、カメラ画像の各画素に対応させることで教師データを作成します。この手法により、カメラ画像の各画素が示す位置における正確な距離データを得ることができます。

カメラとLiDARのデータを統合して利用する際に、正確なキャリブレーションが非常に重要です。市販のキャリブレーションツールを活用することで、キャリブレーションプロセスを効率化し、高精度な結果を得ています。

当社ではユースケースに応じてLiDARやカメラの選定、筐体の作成、LiDARとカメラのキャリブレーションを行い、教師データ作成用システムを構築することが可能です。

推論処理フロー

推論結果の例

屋外の交差点に対して、歩道橋の上から撮影・データ作成したシーンを代表例としてご紹介します。

10メートル毎に、バウンディングボックスの色を変えて表示するようにしています。

• クラス（人、車など）による色の区別ではないことにご注意ください。

推論精度

上記の結果に対する距離推論の精度は、以下のとおりです。

各指標の説明

推論速度

ちなみに、学習に使用しているデスクトップPC(GPU: NVIDIA RTX6000 Ada)
では、FP32のモデルのときに50FPS程度で動作しています。

モデルの軽量化に対する精度評価

本検証では、Jetson AGX Orinを用いた距離推論モデルに対して、モデルのデータ精度を変えて推論精度の劣化度合いを評価を行った結果を記載します。

• 使用したモデルの精度
  • FP32
  • TensorRT(FP16)
  • TensorRT(INT8)
• 対象データに関して
  事前に撮影したオフィス内シーンに対する距離推論を、各データ精度にて実施しました。
  （映像はプライバシー保護の観点で掲載はしておりません）

• FP32

  Metric	Value
  Mean Error (ME)	-0.05 m
  Mean Absolute Error (MAE)	0.20 m
  Root Mean Squared Error (RMSE)	0.69 m
  Absolute Relative Difference (abs_rel)	0.05
  Squared Relative Difference (sqr_rel)	0.06
  RMSE Log (rmse_log)	0.13
  Accuracy a1	95.97%
  Accuracy a2	98.19%
  Accuracy a3	99.10%

• TensorRT(FP16)

  Metric	Value
  Mean Error (ME)	-0.25 m
  Mean Absolute Error (MAE)	0.42 m
  Root Mean Squared Error (RMSE)	0.98 m
  Absolute Relative Difference (abs_rel)	0.13
  Squared Relative Difference (sqr_rel)	0.17
  RMSE Log (rmse_log)	0.21
  Accuracy a1	89.64%
  Accuracy a2	96.46%
  Accuracy a3	98.14%

• TensorRT(INT8)

  Metric	Value
  Mean Error (ME)	-0.89 m
  Mean Absolute Error (MAE)	1.25 m
  Root Mean Squared Error (RMSE)	3.70 m
  Absolute Relative Difference (abs_rel)	0.26
  Squared Relative Difference (sqr_rel)	0.79
  RMSE Log (rmse_log)	0.43
  Accuracy a1	70.45%
  Accuracy a2	87.59%
  Accuracy a3	94.10%

さいごに

今回の単眼距離推論技術の詳細へのご興味や、導入アプリケーションアイディアをお持ちの方は、
ページ内のお問い合わせボタンよりお気軽にお問い合わせください！

関連記事

• 

  NXPのNPUを搭載したi.MX ⁄ MCXによる
  エッジAIソリューションをご紹介