[發(fā)明專利]一種多模異構(gòu)信息融合的機(jī)器人裝配技能學(xué)習(xí)方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202011366884.4
• 申請(qǐng)日: 2020-11-27
• 公開（公告）號(hào): CN112631128B
• 公開（公告）日: 2023-04-14
• 發(fā)明（設(shè)計(jì)）人: 吳鴻敏;程韜波;蘇乾鑫;周雪峰;徐智浩;鄢武
• 申請(qǐng)（專利權(quán)）人: 廣東省科學(xué)院智能制造研究所
• 主分類號(hào): G05B13/04
• 分類號(hào): G05B13/04
• 代理公司: 廣東廣盈專利商標(biāo)事務(wù)所(普通合伙) 44339
• 代理人: 李俊

1.一種多模異構(gòu)信息融合的機(jī)器人裝配技能學(xué)習(xí)方法，其特征在于，所述方法包括：

對(duì)機(jī)器人進(jìn)行初始化啟動(dòng)，采集所述機(jī)器人的各類感知信息；

基于神經(jīng)網(wǎng)絡(luò)模型對(duì)所述各類感知信息進(jìn)行多模異構(gòu)融合處理，生成融合特征向量輸出；

將所述融合特征向量導(dǎo)入深度強(qiáng)化學(xué)習(xí)算法中進(jìn)行訓(xùn)練，獲取所述機(jī)器人的最新動(dòng)作指令；

利用阻抗控制器對(duì)所述最新動(dòng)作指令進(jìn)行響應(yīng)，生成位姿控制信號(hào)，并通過所述位姿控制信號(hào)控制所述機(jī)器人完成裝配任務(wù)；

所述利用阻抗控制器對(duì)所述最新動(dòng)作指令進(jìn)行響應(yīng)，生成位姿控制信號(hào)包括：

利用所述阻抗控制器模擬出一個(gè)機(jī)械彈簧阻尼系統(tǒng)，并將所述最新動(dòng)作指令輸入所述機(jī)械彈簧阻尼系統(tǒng)進(jìn)行指令解析；

所述阻抗控制器根據(jù)調(diào)節(jié)所述機(jī)器人末端執(zhí)行器的動(dòng)力學(xué)理論來模擬出一個(gè)機(jī)械彈簧阻尼系統(tǒng)為：

此時(shí)獲取所述機(jī)器人末端執(zhí)行器的相對(duì)關(guān)節(jié)坐標(biāo)的兩次時(shí)間導(dǎo)數(shù)得到關(guān)系式為：

式中，x為末端執(zhí)行器的相對(duì)關(guān)節(jié)坐標(biāo)，K為阻尼矩陣，B為剛度矩陣，J為雅克比矩陣，x_des為機(jī)器人末端執(zhí)行器初始坐標(biāo)，為機(jī)器人末端執(zhí)行器初始速度，為機(jī)器人末端執(zhí)行器速度，為雅克比矩陣一次導(dǎo)數(shù)，為任意速度，為任意加速度；

其次，所述阻抗控制器在接收到所述最新動(dòng)作指令后，通過所述機(jī)械彈簧阻尼系統(tǒng)對(duì)其進(jìn)行制衡與解析，獲取到最合適的位姿數(shù)據(jù)；

基于逆向動(dòng)力學(xué)理論將解析結(jié)果轉(zhuǎn)換為所述機(jī)器人的位姿控制信號(hào)；

利用所述逆向動(dòng)力學(xué)理論可將該位姿數(shù)據(jù)改寫成所述機(jī)器人的位姿控制律μ為：

J⁺＝J^T(JJ^T+αI)^-1

在實(shí)驗(yàn)中，由于計(jì)算的代價(jià)很大，故將原有的位姿控制律μ簡(jiǎn)化為：

式中，J^T為雅克比矩陣J的轉(zhuǎn)置，J⁺為末端執(zhí)行器雅可比矩陣的偽逆矩陣，I為積分項(xiàng)，D為微分項(xiàng)，x(q)為末端執(zhí)行器的任意坐標(biāo)，α為常數(shù)，且α取值為1×10^-6，以避免增大扭矩附近的運(yùn)動(dòng)奇點(diǎn)；

將簡(jiǎn)化后的位姿控制律μ′導(dǎo)入所述機(jī)器人的裝配應(yīng)用環(huán)境中，以控制所述機(jī)器人完成裝配任務(wù)，與此同時(shí)將該位姿控制律μ′輸入記憶緩沖器中作為歷史數(shù)據(jù)存檔。

2.根據(jù)權(quán)利要求1所述的多模異構(gòu)信息融合的機(jī)器人裝配技能學(xué)習(xí)方法，其特征在于，所述各類感知信息包括力矩信息、視覺信息、本體位姿信息和裝配過程中的聲音信息。

3.根據(jù)權(quán)利要求2所述的多模異構(gòu)信息融合的機(jī)器人裝配技能學(xué)習(xí)方法，其特征在于，所述基于神經(jīng)網(wǎng)絡(luò)模型對(duì)所述各類感知信息進(jìn)行多模異構(gòu)融合處理，生成融合特征向量輸出包括：

從所述力矩信息中提取出最新的32個(gè)數(shù)據(jù)作為32×6的時(shí)間序列，并以2個(gè)步長為基準(zhǔn)對(duì)所述時(shí)間序列進(jìn)行五層因果卷積，輸出第一特征向量；

利用六層卷積神經(jīng)網(wǎng)絡(luò)對(duì)所述視覺信息進(jìn)行編碼輸出128×128×3的RGB圖像，并利用全連接層將所述RGB圖像激活轉(zhuǎn)換為第二特征向量；

利用雙隱含層多層感知器對(duì)所述本體位姿信息進(jìn)行編碼輸出第三特征向量，且所述本體位姿信息包括所述機(jī)器人末端執(zhí)行器的當(dāng)前位置信息與當(dāng)前速度信息；

利用支持向量機(jī)對(duì)所述聲音信息進(jìn)行編碼輸出第四特征向量；

基于雙隱含層多層感知器將所述第一特征向量、所述第二特征向量、所述第三特征向量和所述第四特征向量進(jìn)行相互連接，形成融合特征向量。

4.根據(jù)權(quán)利要求1所述的多模異構(gòu)信息融合的機(jī)器人裝配技能學(xué)習(xí)方法，其特征在于，所述將所述融合特征向量導(dǎo)入深度強(qiáng)化學(xué)習(xí)算法中進(jìn)行訓(xùn)練，獲取所述機(jī)器人的最新動(dòng)作指令包括：

對(duì)所述深度強(qiáng)化學(xué)習(xí)算法中的相關(guān)參數(shù)值進(jìn)行初始化，其中所述相關(guān)參數(shù)值包括動(dòng)作網(wǎng)絡(luò)的參數(shù)值與評(píng)價(jià)網(wǎng)絡(luò)的參數(shù)值；

將所述融合特征向量導(dǎo)入所述評(píng)價(jià)網(wǎng)絡(luò)中進(jìn)行參數(shù)值更新，并計(jì)算所述評(píng)價(jià)網(wǎng)絡(luò)的當(dāng)前策略梯度信息；

結(jié)合所述當(dāng)前策略梯度信息對(duì)所述動(dòng)作網(wǎng)絡(luò)的損失函數(shù)進(jìn)行更新，再將所述融合特征向量導(dǎo)入所述動(dòng)作網(wǎng)絡(luò)中進(jìn)行參數(shù)值更新，以輸出所述機(jī)器人的最新動(dòng)作指令。