FC2ブログ

3Dデプスマップの張り合わせの件 (74)

最近多いのが、3次元で複数個所から一か所に向けて撮った映像を張り合わせて360度ぐるっと見て回れる3D映像に作り替えられないかという相談が多いです。

半年前から急増していて、毎回同じことを回答するのも面倒なので、ここで全て回答しておきます。

一見技術的に難しくないように見えるこの作業ですが、コンピューター的には難しい計算です。

何故なら、人間は計算するのに完全なデータは必要とせずに、データ自身に欠損があっても、これまで蓄積された映像データを利用して欠損を補うことができます。それが『盲点』ですね。本当は見えていないんですが、映像を脳で合成して補っています。

そうやって、欠損データを補って、『恒常性』を利用して、その物が「何か?」を判断して、人間の脳で立体視できても、コンピューターはそうはいかないのです。

こういうのが理解しにくいのって、3次元映像の創世記に人間の脳を利用した『立体錯視』を『立体視』であるかのように売り出したからです。これって、『運転支援システム』を『自動運転』とマーケティング上呼んで、事故を引き起こしたようなものですね。

固定した複数台の3Dカメラから撮ったデータのXYZの座標軸があっていればできますが、キャリブレーションは難しいです。

複数視点からの映像→カメラ・キャリブレーション→エピポラー幾何補正→ホモグラフ計算→ポイントクラウドレジストレーション→ポリメッシュ生成

という手順をふまえます。

例えば、四角い箱を撮影して、特徴のある部分である箱のエッジ部分を合わせれば、三次元合成できるかもと思っても、自動的にそのエッジが「同じ」と認識できないのがコンピューター。人間は恒常性があって、「これは箱」だと思って見ているから、手作業だと張り合わせられるけど、自動ではなかなか認識できないんです。(箱は単なる事例で、実際はもうすこし滑らかな形状のものを撮るので、張り合わせる目印になる特徴点的な部分が少ない)

キャリブレーションがずれていると、XYZ情報がズレるので、「XYZ情報だけで張り合わせられる」と考えるのは、早急です。

XYZがズレたままだと、マトリックスで計算しようとしても対象物が一つにまとめきれずに『映像が割れる』というのはよくあることです。

宜しくお願いします(^▽^)/


スポンサーサイト



コメント

-

管理人のみ閲覧できます
このコメントは管理人のみ閲覧できます
非公開コメント

fukadamoe

深田萌絵(41歳)本名 浅田麻衣子
IT企業経営の傍ら、ITビジネスアナリストとして雑誌へ寄稿。

チップソリューション、自動車向けLidar代替ソリューション、3D認識システム、リアルタイムAIソリューション提供。
深田萌絵取材・講演依頼→moe.fukadaあっとまーくyahoo.com
開発・技術相談→infoあっとまーくrevatron.com


美術短大現代絵画科準学士、早稲田大学u政治経済学部国際政治経済学科卒。

TOEIC890、HSK5級、証券外務員一級、内部監査員、陸上特殊無線技士2級、航空特殊無線技士、マイクロソルダリング講習受講(資格未取得)。