[發明專利]一種多模異構信息融合的機器人裝配技能學習方法及系統

有效

• 申請號: 202011366884.4
• 申請日: 2020-11-27
• 公開（公告）號: CN112631128B
• 公開（公告）日: 2023-04-14
• 發明（設計）人: 吳鴻敏;程韜波;蘇乾鑫;周雪峰;徐智浩;鄢武
• 申請（專利權）人: 廣東省科學院智能制造研究所
• 主分類號: G05B13/04
• 分類號: G05B13/04
• 代理公司: 廣東廣盈專利商標事務所(普通合伙) 44339
• 代理人: 李俊

1.一種多模異構信息融合的機器人裝配技能學習方法，其特征在于，所述方法包括：

對機器人進行初始化啟動，采集所述機器人的各類感知信息；

基于神經網絡模型對所述各類感知信息進行多模異構融合處理，生成融合特征向量輸出；

將所述融合特征向量導入深度強化學習算法中進行訓練，獲取所述機器人的最新動作指令；

利用阻抗控制器對所述最新動作指令進行響應，生成位姿控制信號，并通過所述位姿控制信號控制所述機器人完成裝配任務；

所述利用阻抗控制器對所述最新動作指令進行響應，生成位姿控制信號包括：

利用所述阻抗控制器模擬出一個機械彈簧阻尼系統，并將所述最新動作指令輸入所述機械彈簧阻尼系統進行指令解析；

所述阻抗控制器根據調節所述機器人末端執行器的動力學理論來模擬出一個機械彈簧阻尼系統為：

此時獲取所述機器人末端執行器的相對關節坐標的兩次時間導數得到關系式為：

式中，x為末端執行器的相對關節坐標，K為阻尼矩陣，B為剛度矩陣，J為雅克比矩陣，x_des為機器人末端執行器初始坐標，為機器人末端執行器初始速度，為機器人末端執行器速度，為雅克比矩陣一次導數，為任意速度，為任意加速度；

其次，所述阻抗控制器在接收到所述最新動作指令后，通過所述機械彈簧阻尼系統對其進行制衡與解析，獲取到最合適的位姿數據；

基于逆向動力學理論將解析結果轉換為所述機器人的位姿控制信號；

利用所述逆向動力學理論可將該位姿數據改寫成所述機器人的位姿控制律μ為：

J⁺＝J^T(JJ^T+αI)^-1

在實驗中，由于計算的代價很大，故將原有的位姿控制律μ簡化為：

式中，J^T為雅克比矩陣J的轉置，J⁺為末端執行器雅可比矩陣的偽逆矩陣，I為積分項，D為微分項，x(q)為末端執行器的任意坐標，α為常數，且α取值為1×10^-6，以避免增大扭矩附近的運動奇點；

將簡化后的位姿控制律μ′導入所述機器人的裝配應用環境中，以控制所述機器人完成裝配任務，與此同時將該位姿控制律μ′輸入記憶緩沖器中作為歷史數據存檔。

2.根據權利要求1所述的多模異構信息融合的機器人裝配技能學習方法，其特征在于，所述各類感知信息包括力矩信息、視覺信息、本體位姿信息和裝配過程中的聲音信息。

3.根據權利要求2所述的多模異構信息融合的機器人裝配技能學習方法，其特征在于，所述基于神經網絡模型對所述各類感知信息進行多模異構融合處理，生成融合特征向量輸出包括：

從所述力矩信息中提取出最新的32個數據作為32×6的時間序列，并以2個步長為基準對所述時間序列進行五層因果卷積，輸出第一特征向量；

利用六層卷積神經網絡對所述視覺信息進行編碼輸出128×128×3的RGB圖像，并利用全連接層將所述RGB圖像激活轉換為第二特征向量；

利用雙隱含層多層感知器對所述本體位姿信息進行編碼輸出第三特征向量，且所述本體位姿信息包括所述機器人末端執行器的當前位置信息與當前速度信息；

利用支持向量機對所述聲音信息進行編碼輸出第四特征向量；

基于雙隱含層多層感知器將所述第一特征向量、所述第二特征向量、所述第三特征向量和所述第四特征向量進行相互連接，形成融合特征向量。

4.根據權利要求1所述的多模異構信息融合的機器人裝配技能學習方法，其特征在于，所述將所述融合特征向量導入深度強化學習算法中進行訓練，獲取所述機器人的最新動作指令包括：

對所述深度強化學習算法中的相關參數值進行初始化，其中所述相關參數值包括動作網絡的參數值與評價網絡的參數值；

將所述融合特征向量導入所述評價網絡中進行參數值更新，并計算所述評價網絡的當前策略梯度信息；

結合所述當前策略梯度信息對所述動作網絡的損失函數進行更新，再將所述融合特征向量導入所述動作網絡中進行參數值更新，以輸出所述機器人的最新動作指令。