人の制御戦略を、
ロボットの知能へ。

VAEを導入した視覚-運動変換モデル

人が視覚情報から把持動作を生成する過程をモデル化するため、VAE（変分オートエンコーダ）を導入した視覚-運動変換モデルを構築しています。VAEは、データの背後にある特徴を教師なしで学習するAI（深層学習）の一種です。異なる感覚情報を統合して把持動作を計画する神経回路モデルは福村ら[1]によって提案されており、本研究はその考え方をVAEに基づく学習モデルとして発展させたものです。

深度カメラで撮影した物体画像を画像VAEで低次元の潜在変数に圧縮すると、物体の直径など物理的に解釈可能な特徴量が教師なしで抽出されます。同様に多指ロボットハンドの把持姿勢をハンドVAEで低次元に表現し、2つの潜在空間を結合することで、画像から把持に適した手の姿勢を直接生成します。

さらに筋電信号から識別した使用者の動作意図と組み合わせ、義手システムとして統合します。

• 画像VAEによる深度画像からの物理的に解釈可能な特徴量の教師なし抽出
• ハンドVAEによる多指ハンド把持姿勢の低次元表現と生成
• 2つの潜在空間の結合による視覚から運動（把持姿勢）への変換
• 筋電信号による動作意図識別と統合した筋電義手システムの構築・評価

[1] Y. Uno, N. Fukumura, R. Suzuki, M. Kawato, “A computational model for recognizing objects and planning hand shapes in grasping movements,” Neural Networks, vol.8, no.6, pp.839-851, 1995.

期待される成果

VAEを用いた本手法は、大量のラベル付きデータを必要とせず、人の把持戦略を反映した特徴を教師なしで獲得できる点に特長があり、使用者や物体の変化に柔軟に適応する直感的な筋電義手システムの実現が期待されます。本テーマの成果は電子情報通信学会論文誌に掲載され、2024年度の論文賞を受賞しました。

今後は、触覚センサによる把持力の実時間適応や、視線・音声など複数モダリティの統合へと発展させ、義手にとどまらず作業支援ロボット、リハビリテーション機器、ヒューマンインタフェースへの応用を目指します。