大石 岳史/OISHI Takeshi

大石 岳史 准教授

【研究分野】
メディア・知能・計算分野
【研究領域】
コンピュータビジョン、複合現実感
【研究室URL】
http://www.cvl.iis.u-tokyo.ac.jp/

研究内容

本研究室では、カメラやレーザレンジセンサを用いた大規模構造物の3次元モデル化や解析・表示技術、複合現実感による可視化技術の開発を行っています。基本技術はコンピュータビジョン、コンピュータグラフィックスの分野ですが、考古学や建築学といった分野の研究者と連携した学際的な研究も行っています。また屋外における複合現実感(Mixed Reality: MR)技術(映像、音響)や、これを利用した観光、交通システムといった分野への応用も進めています。

3次元モデル化及び解析・表示

レーザレンジセンサやKINECTのようなデプスカメラなど、実世界を3次元的に観測できるセンサが飛躍的に発達してきています。これらのセンサからは奥行き(2.5次元)画像が得られますが、この奥行き画像からセンサの位置姿勢を推定し、複数の画像を統合することによって完全な3次元モデルを生成することができます。このような3次元モデル化技術はVRモデルの生成やデジタルアーカイブ、リバースエンジニアリングなど幅広い分野に利用されています。形状データは写真と異なって撮影時の光源環境に影響を受けないため、分類や認識をより正確に行うことも可能です。また我々は得られた大規模3次元モデルのクラウド環境での表示や、3次元モデルを利用したインターフェースに関する研究なども進めています。

屋外MR技術の開発

仮想物体をCGアニメーションやバーチャルリアリティで表現することは一般的になりつつありますが、これらの映像はスクリーンやモニタ上で鑑賞するため、スケール感や臨場感に乏しいという問題があります。そこで実際の現場で、実世界に仮想物体を重畳して見せることによって高い臨場感が得られるMR技術の開発を行っています。技術課題としては、光源環境を推定し、実世界と仮想世界の陰影を合わせる光学的整合性や、カメラの位置姿勢を推定し、実世界の奥行きを推定して、仮想物体と正しい位置関係で描画する幾何学的整合性などがあります。前述の実世界から得られた3次元モデルを利用したオクルージョン処理手法や、光源変化に頑健なカメラの位置姿勢推定手法などの開発も行っています。

MRモビリティシステム

これまでのMRシステムは、個々の物体を重ねて見せるだけで、空間を再現するものではありませんでした。これに対して我々は、大規模な仮想空間を実世界に重畳し、電気自動車などによって移動しながらその空間を体験できるシステムを開発しています。このシステムではカメラから得られる映像やGPS信号、ジャイロなどを用いて幾何学的整合性を実現し、全方位カメラによる実世界の撮影によって、多人数同時体験や、光学的整合性を同時に実現することを目指しています。さらに映像から抽出した人物モデルを配して臨場感を高めるとともに、これらの仮想人物が発する音声も実世界と仮想世界の空間情報を考慮してシミュレーションし、正しい音響を再現しています。また上記のような技術開発だけではなく、このモビリティシステムによって、観光や交通、環境にどのような影響を与えるかといった観点でも研究を進めています。

学生へのメッセージ

研究はソフトウェア開発が中心であるため、理論の構築とプログラミングが主になります。しかし、研究室内に閉じこもっているだけでなく、フィールドに出て計測や実証実験を行い、そこから課題を見つけて解決法を導くことが重要だと考えています。実際に、我々の研究室では文化財を対象としており、各地の遺跡で計測や一般公開実験を行うこともあります。コンピュータビジョンの認識やモデル化、複合現実感やコンピュータグラフィックスなどの可視化の技術に加えて、その応用やフィールドワークにも興味がある学生を募集しています。

図1:大規模構造物の3次元モデル化(アンコール遺跡群バイヨン寺院)
図2:複合現実感による文化財の復元展示
図3:MRモビリティシステム