[發明專利]基于視觸融合的機器人及其抓取系統和方法

在審

• 申請號: 202210417868.6
• 申請日: 2022-04-20
• 公開（公告）號: CN114700947A
• 公開（公告）日: 2022-07-05
• 發明（設計）人: 李智軍;廖樸金;李國欣
• 申請（專利權）人: 中國科學技術大學
• 主分類號: B25J9/16
• 分類號: B25J9/16
• 代理公司: 上海段和段律師事務所 31334
• 代理人: 黃磊

1.一種基于視觸融合的機器人抓取系統，其特征在于，包括：機器人靈巧手平臺，觸覺傳感器，外部視覺相機，內部計算單元；

所述機器人靈巧手平臺與所述觸覺傳感器和所述外部視覺相機相連接；所述觸覺傳感器和所述外部視覺相機獲取視覺信息和觸覺信息，所述視覺信息和所述觸覺信息相融合并進入內部計算單元，預測出機器人靈巧手平臺抓取過程中物體滑動的概率。

2.根據權利要求1所述的基于視觸融合的機器人抓取系統，其特征在于，所述機器人靈巧手平臺包括機器人機械臂和機械靈巧手，所述機械靈巧手安裝在所述機器人機械臂的末端，對物體進行抓取。

3.根據權利要求2所述的基于視觸融合的機器人抓取系統，其特征在于，所述機器人機械臂的自由度至少為6個，所述機械靈巧手的自由度至少為3個。

4.根據權利要求1所述的基于視觸融合的機器人抓取系統，其特征在于，所述外部視覺相機包括usb外部攝像機，所述usb外部攝像機安裝在機器人機械臂末端和機械靈巧手的上方，所述usb外部攝像機獲取視覺信息，并通過usb端口將視覺信息送入內部計算單元。

5.根據權利要求1所述的基于視觸融合的機器人抓取系統，其特征在于，所述觸覺傳感器黃與機械靈巧手的內側，所述觸覺傳感器采用基于光學信號的觸覺傳感器，基于光學信號的觸覺傳感器直接輸出陣列信息，利用卷積神經網絡提取特征。

6.一種基于視觸融合的機器人抓取方法，其特征在于，所述方法應用如權利要求1-5任一項所述的基于視觸融合的機器人抓取系統，所述方法包括如下步驟：

步驟S1：獲取網絡訓練數據；

步驟S2：訓練網絡數據；

步驟S3：利用抓取過程中物體的滑動概率進行反饋控制。

7.根據權利要求6所述的基于視觸融合的機器人抓取方法，其特征在于，所述步驟S1中的整個網絡模型首先需要通過訓練，訓練數據來自于多次抓取實驗，通過在多個常見物體進行多次抓取實驗，usb外部攝像機和觸覺傳感器分別獲得抓取過程重點的視覺圖像和觸覺圖像，手動標記抓取過程中物體的狀態信息，獲得整個網絡的訓練數據。

8.根據權利要求6所述的基于視觸融合的機器人抓取方法，其特征在于，所述步驟S2由步驟S1獲取的視覺圖像和觸覺圖像經過預處理之后分別送入卷積神經網絡提取圖像特征，預處理先要將圖像的歸一化，之后通過隨機翻轉，平移等數據增強操作，最后需要將圖像裁剪到網絡指定的輸入大小，采用Transformer作為融合特征的訓練網絡，在Transformer網絡之后，經過一個全連接層，全連接層的輸出通過softmax函數，預測輸出物體滑動的概率。

9.根據權利要求6所述的基于視觸融合的機器人抓取方法，其特征在于，所述步驟S3在抓取過程中，usb外部攝像機獲得視覺圖像和觸覺傳感器獲得的觸覺圖像分別送入步驟S2所訓練好的模型之中，得到當下物體滑動的概率，以該概率作為控制信號，調整末端靈巧手對物體的抓握的控制。

10.一種機器人，其特征在于，所述機器人使用如權利要求1-5任一項所述的基于視觸融合的機器人抓取系統。