以機器人抓取場景為例,抓取和操作物體是完成各種復雜任務的基礎,目前實現穩定的抓取和操作仍然具有挑戰。

先是視覺感知的局限性,尤其是在復雜環境下,遮擋、噪音和背景復雜性等因素可能 影響視覺感知效果,導致抓取任務失敗。其次是視覺反饋往往無法提供物體的具體物理 特性信息,如材質、剛度、重量等,這也限制了機器人在抓取過程中的準確性和穩定性。 目前可以通過導人觸覺傳感器以解決單視覺感知的局限性,通過在機器人執行器上安裝 觸覺傳感器,可以記錄整個抓取過程中物體的受力變化,為機器人提供豐富的抓取解決 時序數據。通過合適的數據處理和分類器,有效提G機器人在復雜環境中抓取穩定性和 分類準確性。

同樣僅憑觸覺信息而不具備視覺系統,盡管靈巧手能感知到與接觸物體的受力關系,但 是由于不清楚物體的特征,無法準確判斷機械臂、靈巧手相對操作物體的位置及是否選 擇正確的動作抓取軌跡與區域,亦會導致抓取失敗。

一個典型的手眼協同能通過視覺做好對靈巧手位置的判斷、動作的規劃及與物體交互策略判定,并能夠根據手的傳感器信息,判斷力的大小方向是否合適,從而大幅提升定向抓取操作的成功率。而人形機器人的上肢操作功能核心為靈巧手的手眼協同,手眼協同的能力決定了人形機器人上肢能力上限。