不規則な表面を持つミリメートルサイズ物体のロボット知覚のための視覚局所化と触覚マッピングの補完的アプローチ

見て感じることのできるロボット

宇宙ステーションから原発事故現場まで、多くの危険な場所では、人間が小さなスイッチ、錠剤、ねじ、ボタンを扱うためにロボットに頼っています。しかし、通常のロボットの「目」は、照明が不十分だったり物体が非常に小さく凹凸があるときにしばしば機能しません。本論文は、人がまず目で対象を見てから指先で探る仕方に着想を得た、視覚と触覚を組み合わせたロボットセンシングシステムを紹介します。

視覚だけでは不十分な理由

ほとんどの現代ロボットは、物体を認識し動作を決定するためにカメラや深度センサに依存しています。これらの視覚ツールは、清潔で良好に照明された工場ではうまく機能しますが、暗い、混雑した、あるいは部分的に隠れた環境では苦労します。著者らは、強力なカメラシステムであっても小さな物体の追跡を失ったり、特に低照度やギラつきの下で表面の細かいディテールを見落とすことがあることを示しています。そのような場合、ロボットは大まかな位置はわかっていても、把持や正確な押下に不可欠な微小な突起、窪み、不規則な縁があるかどうかは判断できないことがあります。

微細なディテールを感じられる指の構築

この問題に対処するため、研究者たちは人間の指先に近い挙動を示す柔らかい「皮膚」状の触覚センサを作りました。インクジェット印刷を用いて、伸縮性のあるゴム状材料に柔軟な金属配線を堆積させ、圧力に敏感なピクセルのグリッドを形成しました。金属層の間には、一般的なサンドペーパーを用いて作られたテクスチャードフィルムが挟まれ、細かく不規則な構造がセンサの感度を高めています。センサが物体に押されると圧力に応じて電気信号が変化し、米粒程度の非常に軽い接触まで検出でき、何千回もの押し離しサイクルにも耐えて性能を失わないことが示されました。

触覚を形状マップに変換する

このソフトセンサは、面積上の圧力パターンを捉える小さなアレイに拡張され、低解像度の画像のように機能します。チームがリング状やその他の複雑な形状の物体をセンサに押し当てると、得られた圧力マップは輪郭や空洞部分を明確に示し、センサが触覚を通じて形状を「見る」ことができることを示しました。コンピュータシミュレーションは、柔らかい材料が人間の皮膚と同様に応力を局所的に集中させ、表面上のミリメートル単位の突起や凹凸といった高さやテクスチャの微細な差を検出する助けになることを確認しました。

視覚と触覚を協働させる

完全なシステムは、RGB-Depthカメラで物体の空間位置を見つけ、柔らかい触覚パッドでその表面を探索します。まずカメラが遠方から物体の位置と大まかな形状を推定し、人が手を伸ばす前にテーブル上をちらりと見るのに似た役割を果たします。影、ぎらつき、ピントの問題などで視覚情報が信頼できなくなると、ロボットは触覚センサを物体に接触させます。パッドを表面の異なる部分にスキャンして圧力データをつなぎ合わせることで、薬包の錠剤の盛り上がりや操作パネルの小さな凹凸など、数ミリ幅の特徴の三次元プロファイルを復元します。

未来のロボットにとっての意義

カメラによる局所化と詳細な触覚マッピングを融合することで、本研究はロボットが「目」に完全に頼れない場合でも微小で不規則な物体を扱える可能性を示します。本研究は、単純で低コストの印刷センサが視覚を補完し、必要に応じて視覚の代わりになり得ることを実証しました。これは、変化する状況に適応し、人間のように視覚と触覚を組み合わせて、乱雑で予測不可能、あるいは危険な環境で正確な作業を行える将来のロボットの基盤を築きます。

引用: Jang, J., Park, BS., Oh, K.T. et al. Complementary visual localization and tactile mapping approach for robotic perception of millimeter-sized objects with irregular surfaces. Microsyst Nanoeng 12, 91 (2026). https://doi.org/10.1038/s41378-026-01190-8

キーワード: ヒューマノイドロボット, 触覚センシング, マルチモーダル知覚, マイクロマニピュレーション, RGB-深度ビジョン