[發明專利]一種基于多源信息深度強化學習的機械臂控制方法及系統

在審

• 申請號: 202210468964.3
• 申請日: 2022-04-29
• 公開（公告）號: CN114789443A
• 公開（公告）日: 2022-07-26
• 發明（設計）人: 陳韋池;曾超;郭靖;劉遠;蔡述庭;熊曉明
• 申請（專利權）人: 廣東工業大學
• 主分類號: B25J9/16
• 分類號: B25J9/16
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 劉俊

本發明涉及機械臂控制技術領域公開了一種基于多源信息深度強化學習的機械臂控制方法及系統，包括以下步驟：S1.采集機械臂的圖像數據及機械臂的本體數據；S2.采用示教學習初始化力控策略的參數；S3.解析圖像數據及機械臂本體信息數據，得到圖像的聯合特征，并通過強化學習模型獲得實時力控策略；S4.通過初始化的力控策略的參數更新實時力控策略，并通過更新后的實時力控策略下達運動控制指令給機械臂進行工作，采集工作中的圖像數據和機械臂本體信息數據；S5.更新圖像數據、機械臂本體信息數據，回到步驟S3，不斷優化機械臂力控策略。本發明解決了現有機械臂控制技術獲取外界信息的途徑很有限的問題，且具有采用多源信息輸入，方便訓練的特點。

技術領域

本發明涉及機械臂控制技術領域，更具體的，涉及一種基于多源信息深度強化學習的機械臂控制方法及系統。

背景技術

現有的機械臂控制方法有基于模型(model-based)和基于數據驅動(data drive)兩種。傳統的機械臂大多采用基于模型來控制，其理論成熟，控制效果可靠。但是隨著深度學習研究的加速和大數據的來臨，基于數據驅動的機械臂控制也愈發成為控制領域的熱點，特別是吸收了控制理論，人工智能等領域的成果之后，基于數據驅動的控制相比傳統的機械臂控制具有簡單，容易實現，泛化能力強的特點，其應用前景廣闊，是機器人領域中的重要發展方向。

目前類似的基于多源信息深度強化學習的機械臂控制方案都會引入多模態作為輸入，訓練完成后輸出各個行為的概率，再去實現機械臂的控制運動。

針對這一問題，現有技術有一種基于多模態感知與學習的機器人自主裝配方法，代替傳統的基于編程的方法，提高機器人裝配策略的魯棒性和穩定性。但是該技術方案沒有引入有關機械臂控制方法；該技術方案獲取所述機械臂的運動策略是直接由深度強化學習算法中得來，而且訓練時間長。

然而現有機械臂控制技術存在獲取外界信息的途徑很有限的問題，因此如何發明一種采用多源信息輸入的機械臂控制方法，是本技術領域亟需解決的問題。

發明內容

本發明為了解決現有機械臂控制技術獲取外界信息的途徑很有限的問題，提供了一種基于多源信息深度強化學習的機械臂控制方法及系統控制方法，其具有采用多源信息輸入，方便訓練的特點。

一種基于多源信息深度強化學習的機械臂控制方法，包括以下步驟：

S1.采集機械臂的圖像數據及機械臂的本體數據；

S2.采用示教學習初始化力控策略的參數；

S3.解析圖像數據及機械臂本體信息數據，得到圖像的聯合特征，并通過強化學習模型獲得實時力控策略；

S4.通過初始化的力控策略的參數更新實時力控策略，并通過更新后的實時力控策略下達運動控制指令給機械臂進行工作，采集工作中的圖像數據和機械臂本體信息數據；

S5.更新圖像數據、機械臂本體信息數據，回到步驟S3，不斷優化機械臂力控策略。

優選的，所述的圖像數據包括深度相機采集到的深度圖像數據和RGB相機采集到的RGB圖像數據。

進一步的，所述的本體數據包括機械臂各個關節的力/力矩傳感器的感知數據、機械臂末端執行器的狀態參數；所述的狀態參數包括末端坐標、關節角度和角速度。

更進一步的，所述的示教學習的數據包括機械臂的位姿信息、關節角度信息、角速度信息。

更進一步的，所述的力控策略的參數包括機械臂位姿和線性二次調節器中的系數矩陣。

更進一步的，步驟S2，具體為：

S201.通過拖曳機械臂進行示教學習的數據采集；