[發明專利]一種基于深度逆向強化學習的機器人亂序工件抓取方法

有效

• 申請號: 201910550243.5
• 申請日: 2019-06-24
• 公開（公告）號: CN110238855B
• 公開（公告）日: 2020-10-16
• 發明（設計）人: 傅建中;王鄭拓;徐月同;楊波
• 申請（專利權）人: 浙江大學
• 主分類號: B25J9/16
• 分類號: B25J9/16
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 林超

本發明公開了一種基于深度逆向強化學習的機器人亂序工件抓取方法。視覺傳感器拍攝待抓取的工件圖像信息，并傳輸給信息處理單元；信息處理單元將拍攝的圖像生成提取目標工件的三維點云；處理后的三維點云數據輸入到深度逆向強化學習處理中，計算機器人運動路徑；機器人根據計算獲得的運動路徑進行工件的抓取。本發明可滿足工業生產的需求，只需示教較少的專家演示數據，即可快速實現對特定工件的抓取編程，解決了深度強化學習方法策略適用性不強、抓取能力有限、訓練周期長、效率低等缺點。

技術領域

本發明涉及屬于人工智能的一種機器人工件抓取方法，尤其涉及一種基于深度逆向強化學習的機器人亂序工件抓取方法。

背景技術

中國作為全球五大工業機器人消費國之一，在2018年安裝量全球占比提升至36.0％，共計安裝了138000臺工業機器人，同比增長了59％，消費體量已經超過了歐洲和美國的總和。智能制造是中國制造2025的主攻方向，智能化的工業機器人需求量巨大。搬運及上下料的機器人應用占比超過三分之二，對其進行智能化升級所帶來的附加價值明顯。

隨著人工智能深度學習的發展，已開始研究基于人工智能技術深度學習工件視覺，利用預先訓練過的深度強化學習網絡對照片進行數據降維特征提取；根據特征提取結果得出機器人的控制策略，機器人利用控制策略來控制運動路徑和機械手臂的位姿，從而實現目標的自適應抓取。

現有的基于人工智能算法的機器人自適應抓取方法往往是采用深度強化學習方法來實現的。然而，傳統強化學習方法在求解高維度狀態和動作空間問題時，有較大的局限性，在有限樣本和計算單元條件下對復雜函數的表示能力有限，實際應用中的表現往往不是很理想。同時，傳統深度強化學習算法需要提供大量的數據進行訓練，在訓練過程中，機器人需要不斷抓取試錯，才有可能可以獲得穩定的抓取能力。這種訓練方法周期長、效率低，在實際訓練過程中有安全隱患，往往無法滿足工業生產應用的需求。而且，在實際的多步強化學習過程中，回報函數的設計非常困難。

發明內容

為克服現有技術的不足，本發明提供一種基于深度逆向強化學習的機器人亂序工件抓取方法。

本發明采用的技術方案如下：

步驟一，機器人末端側方固定的視覺傳感器拍攝工件平臺上的工件，獲得待抓取的工件圖像，并傳輸給信息處理單元；

步驟二，信息處理單元將拍攝的圖像生成三維點云數據，并采用聚類算法提取目標工件的三維點云作為點云信息；

步驟三，將點云信息輸入到深度逆向強化學習處理中，計算機器人運動路徑，計算獲得的機器人運動路徑輸出給機器人控制器，控制機器人實施工件抓取。

本發明技術方案中，工件保持固定亂序放置，機器人末端運動對工件進行抓取。

所述步驟三中的深度逆向強化學習處理，具體包括：

包括有生成網絡和判別網絡的兩部分；

A)所述的生成網絡主要由第一點云處理單元和路徑生成單元串聯而成，第一點云處理單元用以處理輸入的點云信息輸入到路徑生成單元，路徑生成單元根據輸入的點云信息產生機器人運動路徑；

第一點云處理單元包括兩個分別用于位置生成和姿態生成的結構相同的第一子網絡結構，但兩個第一子網絡結構的網絡參數/訓練不同，具體包括依次連接的隨機采樣層、感知層和池化層，感知層是由多個多層感知器并聯組成，同一感知層中各個多層感知器共享/具有相同的參數，隨機采樣的數據組和多層感知器的個數相同；隨機采樣層接收輸入的點云信息并進行隨機采樣，然后將隨機采樣的各組數據分別輸入到各個多層感知器，所有多層感知器處理輸出到同一池化層中，池化層的輸出到對應的路徑生成單元各自的一個多層感知器中，輸出獲得位置信息/姿態信息；