“見る”と“計算する”の再設計：低消費電力フィジカルAIに向けて
「現実世界をそのまま理解し、即座に行動できるAI」を実現し、実世界で動く知能の原理を開拓します。現在の画像AIは、カメラのコマ送りフレームに依存し、本来連続である時間や動きを離散的にしか扱えず、予測と行動の一体化に限界があります。 この前提を捨て、変化した瞬間だけを捉えるイベントカメラを出発点に、時間の流れをそのまま扱う時空間知覚を構築し、フィジカルAIが「感じてから考える」ではなく、「感じながら考え、同時に動く」知能の実現を目指します。さらにこの新しい知覚に合わせて、半導体自体も同時に設計することで生物のように低消費電力な知能システムを開拓し、新たなイメージング応用も目指します。
研究分野1
画像処理理論・機械学習理論・時空間理解
現代のコンピュータビジョン・AIがなお十分に扱えていない「連続的かつ動的な三次元世界の理解」に取り組んでいます。特に、イベントカメラを用いることで、従来のフレームでは捉えきれなかった高時間解像度や広ダイナミックレンジのデータを解析し、新たな時空間表現やその推定手法について原理原則となるような理論を提案しています。世界モデルやEmbodied AIといった研究が進展する中、その中核となる時空間知覚の再定義を先導することを目指しています。
研究分野2
生物のような効率と頑健性を両立する知能のためのHW/SW Co-Design
生物のような高い電力効率と未知の環境に対する認識の頑健性は、どのように実現されるのか？ 我々は、アルゴリズムとハードウェアの協調設計（HW/SW Co-Design）が不可欠だと考えています。AIアルゴリズムの特性を最大限に引き出すためのプロセッサ設計と、プロセッサから逆算したアルゴリズムのあるべき姿の探究を両輪で回すことで、センシングから推論までを一体として再設計し、省電力かつ高性能な知能システムの新しい実現原理を探究します
研究分野3
時空間センシングが可能にするアプリケーション
時空間センシングは、従来のフレームベース計測では捉えきれなかった高速・微弱・非定常な現象の観測を可能にし、新たな応用領域を切り拓きます。例えば、空気の揺らぎ（密度変化）、神経活動計測といった微細なダイナミクスから、人体の動きやスポーツ解析などの非剛体運動、可視光通信における高帯域・低遅延な分散情報通信の実現が挙げられます。本研究では、イメージセンサを用いて、新しい計測や通信への応用創出を目指します。