ホーム > トピックス > コラム > シニアアプリケーションスペシャリストによる「技術トレンド情報」(第35回)
3Dセンシング[2022.07.25]
  • コラム

シニアアプリケーションスペシャリストによる「技術トレンド情報」(第35回)
3Dセンシング[2022.07.25]

シニアアプリケーションスペシャリストによる「技術トレンド情報」(第35回)3Dセンシング

今回は、対象物や周囲構造物の3次元状態を撮像し、3次元データを基に物体の検出や形状比較、カメラ自身の位置を特定する自己位置推定技術など、様々な3次元処理を行う上で必要となる「3Dセンシング」についてご紹介します。

3Dセンシングの種類

3Dセンサ、撮影方式一覧

図1 3Dセンサ、撮影方式一覧

画像を拡大する

3Dセンシングの種類は、以下のように分類されます。
対象物が発する光(反射光を含む)を2つのカメラを利用し3次元像化する「①ステレオ方式」をはじめ、近年、高解像度化が進む、赤外光を照射し、物体反射後の到達遅延時間を距離情報に変換し、3次元像化する「②ToF方式」があります。
また、いくつかのストライプや格子状のパターン光を対象物に照射し、その反射光をもとに3次元像化する「③ストラクチャードライト方式」、そして、1本のレーザー光を照射し、その高さを深度情報としてとらえ、対話物の大きさに合わせスキャンして3次元像化する「④光切断方式」、数本のレーザー光を照射することで、その高さの距離情報をもとに3次元像化する「⑤LiDAR方式」、さらに、より多数のレーザー光を用いてスキャンし、3次元像化する「⑥レーザースキャナ方式」に大別されます。

①は、人の眼と同様の仕組みで、対象ワークが発する光(反射光含む)をセンサでとられる“パッシブセンシング”、②~⑥は、人工的な光源を使用し、対象ワークが反射する光をとらえる“アクティブセンシング”に分類されます。

3Dセンシングの用途別分類

HMS社製ハイエンドAIスマートカメラ 構造図

図2 HMS社製ハイエンドAIスマートカメラ 構造図

画像を拡大する

マシンビジョンへの3Dセンシングの導入については、インラインシステム等の利用を目的とするため、実際に導入する現場の環境や、対象物がベルトコンベアなど搬送状態中においても3次元像を生成する必要があるのか、または、1度、搬送をとめ、対象ワークを静止させ、スキャンさせる(ロボットアームなどを準備し、カメラが対象物周辺を一周する)必要があるのか、実際の運用面や、搬送制御を含め、総合的に判断する必要があります。
「①ステレオ方式」、「②ToF方式」は、1度の撮像(1ショット撮像)で3次元像を得ることができるため、ベルトコンベアなどの搬送時はもとより、カメラがロボットアームや、AGV、ドローンなど駆動や移動する機器に取り付けられている場合などリアルタイム性が必要となるマシンビジョン、ロボットビジョンで利用されています。
特に①のステレオ方式は、長距離での検出も可能であるため、カメラ自体がその空間のどこに位置し、どの方向を向いているかを認識する自己位置推定技術用デバイスとして多用されています。 ②のToFセンシングは、①のステレオセンシングのように立体物の境界特徴点の情報だけでなく、面での深度情報を得ることができるため形状認識検査で利用されています。精度面では、まだまだ十分な解像度をもっていませんが、近年、高解像度化が進んでおり、リアルタイムに3Dセンシングできる技術として注目されています。
「③ストラクチャードライト方式」では、カメラおよび対象物を静止させる必要がありますが、高精度であるため、成形品形状検査での利用や、同一部品が山澄みから物体検出を行う山澄み3Dピッキングで利用されています。
「④光切断方式」では、1ショット撮影で、1ライン分の深度情報を得ることができるため、対象物を水平方向に移動させるか、または、カメラを対象物上で移動させることが必要となりますが、逆に、対象物がベルトコンベア上を一定方向へ移動する状態であれば、リアルタイムに3D像を得ることができ、また、撮像分解能も、高高解像度であるため、高精度な3次元形状認識、形状検査で利用されています。ただし、一定方向への移動が条件となるため、自由な方向に移動するAGV、ドローンといった機器への取り付けには不向きとなります。
「⑤LiDAR方式」では、固定の高さで水平にレーザーを照射し、周囲をスキャンすることで、その高さにある対象物や構造物をとらえることができるため、①と同じく、自己位置推定技術、周辺環境マップの作成、障害物検知に利用されています。
「⑥レーザースキャナ方式」は、対象物およびカメラは固定した状態で使用する必要がありますが、長距離且つ高精度な3次元情報を得ることができるため、成形品の3次元情報の取得や比較的大きな構造物や建造物の3次元データ化により、現場空間の再現や、xR技術(VR,AR,MR)の3Dモデルとして利用されます。

次世代2D&3DトリプルセンシングAIカメラ

今後、サービスロボットなどリッチな構成を実現するためには、2Dカラー撮像のために2Dカラーセンサを取り付け、遠距離用途のために3Dステレオセンサを取り付け、近距離でも面での奥行き情報を得るためにToFセンサも取り付け、カメラが移動中にどちらの方向を見ているか、移動を検知するためにジャイロ(IMU)および、自己位置推定機能(VisualSLAM機能)、さらに、AI処理で物体の認識や分類などを行うためにパワフルなパソコンとGPUボードを用意して構成を検討されることがあると思います。
今年2022年、これらすべての機能を搭載したロボティクス用の小型AIスマートカメラが、各社より、リリースされてきました。すべてのセンシング機能とAI機能を搭載したハイエンドカメラの登場です。
1例として、AIスマートカメラの世界シェアNo1のHMS社より、2Dカラーセンサ、3Dステレオセンサ、3DToFセンサ、ジャイロセンサ(9軸)に、AIプロセッサ搭載し、VisualSLAMようにカメラ1台1台キャリブレーションを実施いた形で、しかも、産業用カメラ1台にも満たないローコストなAIスマートカメラが、2022年6月にリリースされています。こちらのデバイスについては、次回以降で、まだ、ご紹介したいと思います。

今回のまとめ

今回は、3Dセンシングについて、その撮像方式をもとに、その特徴と用途についてご紹介いたしました。中でも、ToFセンシングについては、今後、高解像度化が進むとみられており、ローコストでありながら、1ショットで3D形状をとらえることができるため、対象物やカメラが移動中でも利用できるため、製造現場でのインダストリ領域の成形品検査はもちろん、自由移動するサービスロボットなどクロスインダストリ領域への活用も期待されています。
当社では、イメージング事業および、xR事業での取り組みの中で、お客さまのご要望に合わせ、3Dセンシングのデバイス選定から、その後の処理技術への対応、システム化やソリューションのご提案など幅広くお手伝いしております。2Dおよび3D処理をご検討の際は、是非、一度、お問合せください。

 

筆者紹介

シニアアプリケーションスペシャリスト 稲山

稲山 一幸(いねやま かずゆき)

エンジニアリング事業 シニアアプリケーションスペシャリスト

1992年住金制御エンジニアリング入社、Matrox社製品の国内総代理店立ち上げに参画、以降25年マシンビジョン業界に携わる。
2013年~2016年、キヤノン株式会社にてマシンビジョン関連の新製品開発のソフトウェアリーダとして従事。現在は、エバンジェリストとして活躍中。

関連するソリューション・製品

ホーム > トピックス > コラム > シニアアプリケーションスペシャリストによる「技術トレンド情報」(第35回)
3Dセンシング[2022.07.25]