[發明專利]一種多模異構信息融合的機器人裝配技能學習方法及系統

有效

• 申請號: 202011366884.4
• 申請日: 2020-11-27
• 公開（公告）號: CN112631128B
• 公開（公告）日: 2023-04-14
• 發明（設計）人: 吳鴻敏;程韜波;蘇乾鑫;周雪峰;徐智浩;鄢武
• 申請（專利權）人: 廣東省科學院智能制造研究所
• 主分類號: G05B13/04
• 分類號: G05B13/04
• 代理公司: 廣東廣盈專利商標事務所(普通合伙) 44339
• 代理人: 李俊

本發明公開了一種多模異構信息融合的機器人裝配技能學習方法及系統，其方法包括：對機器人進行初始化啟動，采集所述機器人的各類感知信息；基于神經網絡模型對所述各類感知信息進行多模異構融合處理，生成融合特征向量輸出；將所述融合特征向量導入深度強化學習算法中進行訓練，獲取所述機器人的最新動作指令；利用阻抗控制器對所述最新動作指令進行響應，生成位姿控制信號，并通過所述位姿控制信號控制所述機器人完成裝配任務。在本發明實施例中，通過結合多模異構信息融合方法與深度強化學習算法在機器人裝配技能學習的應用，可提高機器人對復雜環境變化的感知能力與適應能力。

技術領域

本發明涉及機器人技能學習領域，尤其涉及一種多模異構信息融合的機器人裝配技能學習方法及系統。

背景技術

機器人裝配技能學習是目前人工智能在機器人領域的重點與難點。由于該裝配過程具有復雜動態的環境、形狀各異的操作對象、物體相對狀態轉移頻繁等特點，造成不確定性因素尤其明顯，對機器人操作的靈活性和智能性提出了更高的要求。傳統機器人裝配作業通常是依靠人類示教再現或離線編程的方式完成，在特定場景下簡單形狀的部件裝配工作中已經取得一定成效，然而該方法難以滿足于柔性制造下環境復雜、精度要求高的裝配任務，制約著機器人的應用。

近年來，隨著深度學習技術的不斷突破，能夠為機器人提供更準確的環境感知信息，并結合強化學習形成了深度強化學習，已被廣泛應用于機器人抓取、路線規劃、推拉等簡單操作任務，并在工業、物流等領域取得不錯的表現，但是在機器人裝配上依然是極具挑戰性的任務。目前，為解決機器人自主裝配任務這一問題，基于深度強化學習的機器人裝配技能學習方法也逐漸被提出來，例如國外哈佛大學采用深度強化學習方法實現了機器人自主學習完成軸孔裝配任務，但該方法只能在MUJOCO仿真環境中實現，如果要遷移到實際機器人系統還需要考慮更多的復雜環境因素，此外軸孔裝配任務只用到了接觸力的信息，在面對更加復雜的環境與任務時，單一的感知信息來源不足以支持機器人準確地感知環境變化以及任務復雜性。

發明內容

本發明的目的在于克服現有技術的不足，本發明提供了一種多模異構信息融合的機器人裝配技能學習方法及系統，通過結合多模異構信息融合方法與深度強化學習算法在機器人裝配技能學習的應用，可提高機器人對復雜環境變化的感知能力與適應能力。

為了解決上述問題，本發明提出了一種多模異構信息融合的機器人裝配技能學習方法，所述方法包括：

對機器人進行初始化啟動，采集所述機器人的各類感知信息；

基于神經網絡模型對所述各類感知信息進行多模異構融合處理，生成融合特征向量輸出；

將所述融合特征向量導入深度強化學習算法中進行訓練，獲取所述機器人的最新動作指令；

利用阻抗控制器對所述最新動作指令進行響應，生成位姿控制信號，并通過所述位姿控制信號控制所述機器人完成裝配任務。

可選的，所述各類感知信息包括力矩信息、視覺信息、本體位姿信息和裝配過程中的聲音信息。

可選的，所述基于神經網絡模型對所述各類感知信息進行多模異構融合處理，生成融合特征向量輸出包括：

從所述力矩信息中提取出最新的32個數據作為32×6的時間序列，并以2個步長為基準對所述時間序列進行五層因果卷積，輸出第一特征向量；

利用六層卷積神經網絡對所述視覺信息進行編碼輸出128×128×3的RGB圖像，并利用全連接層將所述RGB圖像激活轉換為第二特征向量；

利用雙隱含層多層感知器對所述本體位姿信息進行編碼輸出第三特征向量，且所述本體位姿信息包括所述機器人末端執行器的當前位置信息與當前速度信息；

利用支持向量機對所述聲音信息進行編碼輸出第四特征向量；