[發明專利]一種基于多源信息深度強化學習的機械臂控制方法及系統

在審

• 申請號: 202210468964.3
• 申請日: 2022-04-29
• 公開（公告）號: CN114789443A
• 公開（公告）日: 2022-07-26
• 發明（設計）人: 陳韋池;曾超;郭靖;劉遠;蔡述庭;熊曉明
• 申請（專利權）人: 廣東工業大學
• 主分類號: B25J9/16
• 分類號: B25J9/16
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 劉俊

1.一種基于多源信息深度強化學習的機械臂控制方法，其特征在于：包括以下步驟：

S1.采集機械臂的圖像數據及機械臂的本體數據；

S2.采用示教學習初始化力控策略的參數；

S3.解析圖像數據及機械臂本體信息數據，得到圖像的聯合特征，并通過強化學習模型獲得實時力控策略；

S4.通過初始化的力控策略的參數更新實時力控策略，并通過更新后的實時力控策略下達運動控制指令給機械臂進行工作，采集工作中的圖像數據和機械臂本體信息數據；

S5.更新圖像數據、機械臂本體信息數據，回到步驟S3，不斷優化機械臂力控策略。

2.根據權利要求1所述的基于多源信息深度強化學習的機械臂控制方法，其特征在于：所述的圖像數據包括深度相機采集到的深度圖像數據和RGB相機采集到的RGB圖像數據。

3.根據權利要求1所述的基于多源信息深度強化學習的機械臂控制方法，其特征在于：所述的本體數據包括機械臂各個關節的力/力矩傳感器的感知數據、機械臂末端執行器的狀態參數；所述的狀態參數包括末端坐標、關節角度和角速度。

4.根據權利要求1所述的基于多源信息深度強化學習的機械臂控制方法，其特征在于：所述的力控策略的參數包括機械臂位姿和線性二次調節器中的系數矩陣。

5.根據權利要求4所述的基于多源信息深度強化學習的機械臂控制方法，其特征在于：步驟S2，具體為：

S201.通過拖曳機械臂進行示教學習的數據采集；

S202.通過高斯混合模型對獲得的示教學習的數據進行建模，并計算出模型的協方差與均值，得到模型的協方差矩陣；

S203.通過高斯混合模型的協方差矩陣初始化二次型調節器的系數矩陣；

S204.通過高斯混合模型的均值初始化機械臂位姿。

6.根據權利要求5所述的基于多源信息深度強化學習的機械臂控制方法，其特征在于：所述的示教學習的數據包括機械臂的位姿信息、關節角度信息、角速度信息。

7.根據權利要求5所述的基于多源信息深度強化學習的機械臂控制方法，其特征在于：步驟S203，具體為：通過高斯混合模型的協方差矩陣初始化二次型調節器的R矩陣和Q矩陣。

8.根據權利要求5所述的基于多源信息深度強化學習的機械臂控制方法，其特征在于：步驟S3，具體為：

S301.將機械臂的圖像數據及本體數據輸入卷積神經網絡得到若干個模態特征表示；

S302.各個模態特征表示分別通過其對應的神經網絡層后統一通過隱藏層，將通過隱藏層后得到的模態映射到聯合空間，得到統一聯合特征；

S303.將統一聯合聯合特征通過隱藏層得到初始預測；

S304.將初始預測輸入強化學習模型中得到機械臂的力控策略。

9.根據權利要求8所述的基于多源信息深度強化學習的機械臂控制方法，其特征在于：通過初始化的力控策略的參數更新實時力控策略，具體為：通過初始化的力控策略的二次型調節器的系數矩陣和機械臂位姿更新實時力控策略的二次型調節器和機械臂位姿。

10.一種基于多源信息深度強化學習的機械臂控制系統，其特征在于：包括用于采集機械臂的圖像數據及機械臂的本體數據的感知模塊、用于采用示教學習初始化力控策略的參數的初始化模塊、用于解析圖像數據及機械臂本體信息數據，得到圖像的聯合特征，并通過強化學習模型獲得實時力控策略的學習模塊、用于通過初始化的力控策略的參數更新實時力控策略，并通過更新后的實時力控策略下達運動控制指令給機械臂進行工作，采集工作中的圖像數據和機械臂本體信息數據的控制模塊。