[發(fā)明專利]基于視觸融合的機器人及其抓取系統(tǒng)和方法

在審

• 申請?zhí)枺?/td>: 202210417868.6
• 申請日: 2022-04-20
• 公開（公告）號: CN114700947A
• 公開（公告）日: 2022-07-05
• 發(fā)明（設計）人: 李智軍;廖樸金;李國欣
• 申請（專利權）人: 中國科學技術大學
• 主分類號: B25J9/16
• 分類號: B25J9/16
• 代理公司: 上海段和段律師事務所 31334
• 代理人: 黃磊

本發(fā)明提供了一種基于視觸融合的機器人及其抓取系統(tǒng)和方法，機器人系統(tǒng)包含多自由度的機械臂與多自由度的機械手本體，同時有安裝在機器手上的視覺相機和觸覺傳感器，用于獲得兩個模態(tài)的信息。視覺與觸覺感知融合算法利用采集的視覺信息獲取目標物體的外部輪廓信息，觸覺信息獲取目標物體的表面形貌與質地軟硬等信息，通過預處理后利用卷積神經網絡提取視覺信息的特征和觸覺信息的特征，兩個模態(tài)特征信息融合之后獲得的新的特征用于預測物體抓取過程中的滑動概率。通過滑動概率實時調整機器手與物體的接觸面積和物體表面的受力大小，在整個過程中保證機器手總以合適的力對物體進行穩(wěn)定抓取。

技術領域

本發(fā)明涉及多模態(tài)融合和機器人抓取的技術領域，具體地，涉及基于視觸融合的機器人及其抓取系統(tǒng)和方法，尤其涉及一種基于視觸融合的機器人抓取系統(tǒng)及方法。

背景技術

隨著人工智能技術的發(fā)展，智能機器人也開始逐步進入大眾視野。一直以來，人們都希望機器人能真正的像人一樣能和環(huán)境進行交互，因此，機器人的對外界環(huán)境的感知就成了智能機器人領域的熱點問題。近幾年來，得益于計算機視覺和自然語言技術的飛速發(fā)展，機器人在處理視覺，聽覺和文本信息這幾類問題都取得了很大的進步。目標檢測，人臉識別，語音導航等任務在已經在機器人得到了充分地運用。但是，在機器人觸覺領域，目前的研究確少之又少，一方面是因為觸覺信息在整個機器人對外界環(huán)境的感知中只占了比較少的一部分，觸覺信息在大部分機器人的操作中并不是必須的，另一方面也和觸覺信息自身數據結構有關，傳統(tǒng)的觸覺傳感器大部分是采用電信號作為輸出，這使得整個機器人操作的過程中不便于處理。

作為機器人末端操作的關鍵性問題，機器人抓取任務就和機器人觸覺感知密切相關。最開始的機器人抓取任務中，對于物體的抓取完全是通過固定的指令控制機器人手末端，以固定的方式抓取物體。但是這種方式很明顯忽略了抓取過程中物體的狀態(tài)信息和物體本身的材質信息，由于不同物體材質不同，有的物體材質堅硬，有的物體材質柔軟，如果在抓取的時候都采用相同的力，可能會導致物體損壞，并且，物體在被抓取的過程中，其是否滑動是我們最為關注的，利用物體在抓取過程中的是否滑動的狀態(tài)信息對機器手末端進行控制，能夠保證整個過程抓取過程的穩(wěn)定性。隨著機器人感知技術的發(fā)展，觸覺信息開始被用于機器人抓取任務之中，用于感知抓取過程中機器手和物體之間的壓力變化，但之前的觸覺傳感器大都是壓電傳感器，壓電傳感器通過感受接觸面的形變將壓力信號轉變?yōu)殡娦盘枺ㄟ^電信號進一步對機器手末端進行控制。但電信號的在抓取過程中的處理需要經過一系列的轉換，這對控制機器手進行實時的調整又是不利的。

最近幾年，多模態(tài)融合技術在迅速發(fā)。不同模態(tài)信息之間存在著信息的互補，在各種任務中利用不同模態(tài)信息相互融合，可能會取得比單獨利用某個模態(tài)信息更好的效果。由此自然想到將視覺信息引入機器人抓取任務中，視覺模態(tài)提供抓取過程中物體外部整體圖像信息，觸覺模態(tài)提供抓取過程中機器人和物體接觸面的局部信息，進一步通過神經網絡實現兩個模態(tài)信息的融合，利用融合的信息實現機器人對物體的穩(wěn)定抓取。

在公開號為CN113696186A的專利文獻中公開了復雜的環(huán)境條件下，基于視觸融合的機械臂自主移動抓取方法，主要包括對目標位置的趨近控制和對環(huán)境信息的反饋控制。可見光與深度圖像基于深度網絡完成對目標的識別定位，并調整移動機械不斷趨近目標物體；根據傳感器模塊與外界環(huán)境及目標物體的接觸力信息，調整機械臂位姿；同時選取目標物體的最佳位姿與合適的抓取力大小，有效防止了機械臂的碰撞損害與失穩(wěn)，并且減少了被抓物體的嚴重形變。

發(fā)明內容

針對現有技術中的缺陷，本發(fā)明的目的是提供一種基于視觸融合的機器人及其抓取系統(tǒng)和方法。

根據本發(fā)明提供的一種基于視觸融合的機器人抓取系統(tǒng)，包括：機器人靈巧手平臺，觸覺傳感器，外部視覺相機，內部計算單元；

所述機器人靈巧手平臺與所述觸覺傳感器和所述外部視覺相機相連接；所述觸覺傳感器和所述外部視覺相機獲取視覺信息和觸覺信息，所述視覺信息和所述觸覺信息相融合并進入內部計算單元，預測出機器人靈巧手平臺抓取過程中物體滑動的概率。