3Dセンサの測距原理とその応用…1【東京開催】

～Multi-beam LiDAR, Time of Flight, Structured Light,Photogrametry等の測距原理から次世代３Ｄセンシング方式と非接触生体センシングの原理と応用まで～

【イントロダクション編】
1　3Dセンサとは？
　1.1　可視光RGB画像, 赤外線IR画像, サーマル画像, デプス画像の例
　1.2　各画像と撮像波長
　1.3　太陽光スペクトルについて
　1.4　黒体輻射スペクトルとサーマル画像
　1.5　デプス画像の種類（モノクロ、C-LUT、点群、3Dメッシュ）
　1.6　2Dデプスデータと3Dデータの違いとデプス値の定義
　1.7　有力な測距アルゴリズムの概要紹介
　　1.7.1　Stereoカメラ
　　1.7.2　Structured Light方式
　　1.7.3　Time of Flight方式（Direct ToF、Indirect ToF）
　　1.7.4　拡散反射光の性質を利用する方式（Infrared Depth）
　　1.7.5　撮像レンズの屈折が波長によって異なることを利用する方式
　　1.7.6　PTAM（Points Tracking and Mapping）、SLAM、Photogrammetry
　　1.7.7　次世代AI推定　
　1.8　デプスカメラの応用分野
　1.9　主な低価格市販デプスカメラ
　付録A　3Dコンピュータグラフィックスの必要な基礎知識
　　＊カラー・ルックアップテーブル
　　＊直線描画
　　＊ポリゴンフィル
　　＊透視変換
　　＊グローシェーディング、フォンシェーディングによる陰影付け
　　＊テクスチャー・マッピング
　　＊座標回転

【3Dカメラの動作原理（前編）】
2　Time of Flight測距原理編
　2.1　マルチビーム方式LiDAR（iPhone LiDAR）64*9=576
　　2.1.1　LiDARの基本動作原理（ToF：Time of Flight）
　　2.1.2　Indirect ToF方式
　　2.1.3　Direct ToF方式
　　2.1.4　メカニカルスキャン方式LiDARとその弱点
　　2.1.5　マルチビーム方式LiDAR
　　2.1.6　VCSELアレイ（Lumentum社）
　　　①EELとVCSELの違い
　　　②分布ブラッグ反射器
　　　③ヒトの視細胞にもある分布ブラッグ反射器
　　　④通常のレーザーダイオードとVCSELの特性の違い
　　　⑤Lumentum社のVCSEL構造
　　　⑥酸化膜の孔径と電流制限抵抗（並列駆動の仕組み）
　　　⑦Lumentum社 VCSEL arrayの4相駆動
　　　⑧チップ底面のカソード実装方法
　　　⑨並列定電流駆動回路
　　2.1.7　VCSELアレイマルチビーム用短焦点組レンズ
　　　①レーザーダイオードと短焦点レンズ
　　　②組レンズによるマルチビーム化
　　2.1.8　回折格子（DoE）
　　2.1.9　SPADイメージセンサ
　　　①ヒトの視覚
　　　②イメージセンサのデバイス構造の変遷
　　　③SPADとは（アバランシェ・ダイオードによるフォトンカウントモード）
　　　④SPADイメージセンサのデバイス構造
　　2.1.10　次世代光学フィルタ（MEMS光学フィルタ）
　　2.1.11　iPhone LiDARの構造
　　2.1.12　PLL Syncopation技術によるToFカウンタの高速化
　　2.1.13　通信容量の法則を用いた距離分解能の改善方法
　2.2　Time of Flight（Indirect ToF）～光パルスの往復時間または位相遅れを利用する
　　2.1.1　測定方法の概要
　　2.2.2　太陽光スペクトル（環境光オフセットの主要成分）
　　2.2.3　Eye Saftyによる照明光の制限
　　2.2.4　ToF方式
　　2.2.5　Direct ToF方式の限界
　　2.2.6　Indirect ToF方式
　　2.2.7　パルス駆動とToF方式
　　2.2.8　ToFノイズの要因分析
　　2.2.9　4つのノイズ要因
　　2.2.10　Indirect ToFの米国特許
　　2.2.11　距離分解能の改善方法について
　2.3　Infrared Depth（Indirect ToF研究から生まれた方式）
　　2.3.1　拡散反射光の性質を利用した測距アルゴリズム（Infrared Depth）
　　2.3.2　環境光、拡散反射、鏡面反射
　　2.3.3　光源指向性、距離減衰、吸光度、拡散反射
　　2.3.4　吸光度はToFで機械学習
　　2.3.5　吸光度をRGB画像から実測する方法
　　2.3.6　可視光でも行える拡散反射光逆問題
　2.4　カラー開口フィルタ（東芝⇒JDI）
　　2.4.1　カラー開口フィルタの特徴と動作原理
　　2.4.2　透過液晶パネルを用いる方法
　2.5　光源指向性パターンを利用した測距法～多数の画素情報を用いて高精度に測距を行うマルチ光源パターン法
　　2.5.1　Webカメラと懐中電灯で測距
　　2.5.2　ドーナッツパターンで行うロバストな測距
　2.6　単カメラによる自己位置推定による3D化…自己位置推定と環境地図作成を同時に行う
　　2.6.1　カメラ位置の違いから特徴点/テクスチャのマッチングを利用
　　2.6.2　PTAM（Parallel Tracking and Mapping）
　　2.6.3　SLAM（Simultaneous Localization and Mapping）
　　2.6.4　自己位置推定用シートマーカーを用いる方法（Qlone）
　　2.6.5　慣性測定ユニット（IMU）を用いたPhotogrametry法
　2.7　機械学習により静止画から3D顔モデルを再構成する　cvl-demos.cs.nott.ac.uk/vrn/
　2.8　Make3D（視覚処理の模倣）
　2.9　次世代AIによる3Dモデリングとスケール補正

3　3Dセンサの応用事例紹介～デモや動画、PowerPoint等で説明
　付録B　3Dセンサの応用事例紹介
　付録C　デモで使用したHyperSense（最小二乗法）の数式導出説明