[發明專利]基于QMIX強化學習算法的船舶多機械臂焊點協同焊接方法

有效

• 申請號: 202011239331.2
• 申請日: 2020-11-09
• 公開（公告）號: CN112427843B
• 公開（公告）日: 2021-09-03
• 發明（設計）人: 廖良闖;張本順;孫宏偉;李萌萌;花磊;陳衛彬;陳楊楊;馬韜;余睿;王傳生
• 申請（專利權）人: 中國船舶重工集團公司第七一六研究所;江蘇杰瑞科技集團有限責任公司
• 主分類號: B23K37/00
• 分類號: B23K37/00;B23K37/02;B25J9/16;B25J11/00
• 代理公司: 南京理工大學專利中心 32203
• 代理人: 張玲

本發明屬于焊接控制領域，具體為一種基于QMIX強化學習算法的船舶多機械臂焊點協同焊接方法。包括如下步驟：a)搭建強化學習環境，并設定環境中的焊接區域及作業區域；b)確定機械臂的狀態值、動作值；c)由狀態值、動作值及協同焊接、避碰的任務，設定獎勵值；d)由狀態值和動作值通過循環神經網絡來計算得到每個機械臂的局部動作價值函數，并進行動作選擇過程；e)由動作價值函數，通過設定權值非負的超網絡得到所有機械臂總體的動作價值函數；f)由步驟c)的獎勵值及步驟e)總體的動作價值函數網絡構造損失函數，根據反向傳播算法計算更新神經網絡的權重并重復訓練過程。本方法不依賴系統模型、簡單有效，能夠實現障礙環境中焊點協同焊接的任務。

技術領域

本發明屬于焊接控制領域，具體涉及一種基于QMIX強化學習算法的船舶多機械臂焊點協同焊接方法。

背景技術

在全球各行各業的工業機器人中，焊接機器人占據了半數以上。焊接機器人從一開始的流水線手臂式機器人，到后來的基于傳感器的離線編程焊接機器人，再到現今廣泛適用的多傳感器、具有高度自適應能力的智能化焊接機器人，其焊接的能力及自動化的水平也快速提高。在船舶這種大空間中利用焊接機器人對多處復雜場景焊接處進行焊接，可以大大提升焊接效率和質量，這一技術也成為如今研究的熱門。將機器人投入到船舶制造業中，部分代替直至全面代替人工焊接，實現機械化、自動化、部分智能化甚至全智能化以及真正“無人化”是未來船舶建造的必然趨勢(于步江，“船艙格子間機器人焊接工藝研究”[D]，江蘇：江蘇科技大學,2013)。

在復雜的任務要求下，多焊接機器人協同進行焊接對提升焊接效率、減少焊接時間有著重要的意義。多機器人焊接要處理和研究的主要問題可以分為以下幾個方面。其一，多焊接機器人的協同任務分配和路徑規劃問題；其二，多機器人在焊接作業過程中相互干涉、碰撞問題；其三，通過傳感設備傳遞信息的機器人在作業過程中通信受限情況下的協同焊接問題。針對以上三個問題，國內外學者研究了多種方法來進行解決。

景奉水等在文獻(景奉水,譚民,侯增廣,梁自澤,王云寬，“基于多機器人協調的船體分段對接系統的運動學及對接精度研究”，機器人,2002(04):324-328.)針對基于多機器人協調的船體分段對接系統的運動學和對接精度問題，提出了機器人的軌跡規劃算法和對接控制方案，討論了幾種誤差因素對系統對接精度的影響，該方法可以保證船體分段對接精度。Gan在文獻(Gan Y,Duan J,Chen M,Dai X，“Multi-Robot Trajectory Planning andPosition/Force Coordination Control in Complex Welding Tasks”，AppliedSciences,2019,9(5):924.)針對多機器人系統在焊接過程中的軌跡規劃和位置協調控制問題，采用面向對象的層次規劃控制策略，針對多機器人協同機械手的位置跟蹤，提出了對稱內外自適應變阻抗控制，該方法可以平滑地完成焊接任務，實現良好的位置跟蹤性能。以上文獻很好的解決了多機器人的協同焊接路徑規劃問題，但對于機器人之間干涉和傳感器限制問題并沒有涉及。

陳輝在文獻(陳輝，“白車身多機器人協同焊接的路徑規劃研究”[D]，山西：中北大學,2019)分析比較了常用路徑規劃算法的優缺點，并針對傳統蟻群算法的缺陷提出一種復合改進蟻群算法，應用于單機器人以及多機器人焊接路徑規劃問題，并針對多機器人焊接路徑規劃問題建立焊點分配模型以及機器人間的防干涉模型，但該文獻也并未將傳感器受限的情況納入考慮范圍。考慮到船舶焊接為一個較大空間的焊接過程，在機器人作業過程中往往會由于傳感設備性能的限制，無法得到全局的焊接信息，從而會影響路徑規劃的準確性及防干涉的有效性。

發明內容

本發明的目的在于提供一種基于QMIX強化學習算法的船舶多機械臂焊點協同焊接方法，該方法簡單有效，能夠實現在協同焊點焊接的任務需求和信息傳感受限的焊接環境中的機械臂作業路徑的合理規劃并避免碰撞，同時降低生產的人工和時間成本。