[發明專利]基于強化學習的焊接參數確定方法、焊接方法和設備

有效

• 申請號: 201810876859.7
• 申請日: 2018-08-03
• 公開（公告）號: CN109031954B
• 公開（公告）日: 2021-06-25
• 發明（設計）人: 劉旭;劉建都;戚曉亞
• 申請（專利權）人: 北京深度奇點科技有限公司
• 主分類號: G05B13/04
• 分類號: G05B13/04
• 代理公司: 北京細軟智谷知識產權代理有限責任公司 11471
• 代理人: 付登云

本申請涉及一種基于強化學習的焊接參數確定方法、焊接方法和設備，其中的焊接參數確定方法包括：檢測焊接過程中的當前狀態信息；根據預先訓練得到的第一神經網絡模型和所述當前狀態信息得到當前焊接參數，所述第一神經網絡模型用于表示狀態信息到焊接參數的映射；其中，所述第一神經網絡模型是根據第一訓練數據訓練得到的，所述第一訓練數據包括：狀態信息和焊接參數；所述第一訓練數據是根據預先訓練得到的第二神經網絡模型選擇的反饋值大于預設值的狀態信息和焊接參數，所述第二神經網絡模型用于表示狀態信息和焊接參數到反饋值的映射。本申請能夠在得到最優策略的基礎上，根據檢測得到的狀態信息，自動得到最優焊接參數，提升焊接質量。

技術領域

本申請涉及焊接技術領域，尤其涉及一種基于強化學習的焊接參數確定方法、焊接方法和設備。

背景技術

隨著科技的發展，在鋼鐵材料的焊接領域，機器人焊接逐漸取代了以往的人工焊接。在焊接機器人實施焊接過程中，控制焊接的參數會直接影響焊接的質量。焊接的參數有焊槍移動速度，電流，電壓，焊槍角度，擺幅，擺頻等，這些焊接參數與焊接板材在激光圖中的幾何特征有密切關聯，這些幾何特征包括焊縫間距、焊接點坐標位置等。

相關技術中，焊接參數由專業人員設置，即將焊接參數輸入到焊接機器人的焊槍中，焊槍根據輸入的參數執行焊接。這種參數設置方法依賴于人工，一旦參數設定，無論焊接板材在激光圖中的幾何特征有什么不同，焊接機器人均采用預先設定的參數進行焊接，這種方法很容易降低焊接質量，造成材料浪費。

發明內容

為至少在一定程度上克服相關技術中存在的問題，本申請提供一種基于強化學習的焊接參數確定方法、焊接方法和設備。

根據本申請實施例的第一方面，提供一種基于強化學習的焊接參數確定方法，包括：

檢測焊接過程中的當前狀態信息；

根據預先訓練得到的第一神經網絡模型和所述當前狀態信息得到當前焊接參數，所述第一神經網絡模型用于表示狀態信息到焊接參數的映射；

其中，所述第一神經網絡模型是根據第一訓練數據訓練得到的，所述第一訓練數據包括：狀態信息和焊接參數；

所述第一訓練數據是根據預先訓練得到的第二神經網絡模型選擇的反饋值大于預設值的狀態信息和焊接參數，所述第二神經網絡模型用于表示狀態信息和焊接參數到反饋值的映射。

可選的，所述方法還包括：

在采用所述當前焊接參數完成所述焊接過程后，獲取監控量；

根據所述監控量計算當前反饋值，并根據所述當前狀態信息和所述當前焊接參數以及所述當前反饋值作為第二訓練數據，采用第二訓練數據重新訓練所述第二神經網絡模型，得到更新后的第二神經網絡模型；

根據更新后的第二神經網絡模型重新選擇第一訓練數據，并采用重新選擇的第一訓練數據重新訓練所述第一神經網絡模型，得到更新后的第一神經網絡模型；

在開始新的焊接過程后，采用更新后的第一神經網絡模型更新焊接參數。

可選的，所述狀態信息是焊縫信息，所述檢測焊接過程中的狀態信息，包括：

獲取焊板圖像；

對所述焊板圖像進行圖像識別，提取出焊縫信息，所述焊縫信息包括：焊縫寬度。

可選的，所述焊接參數包括：焊槍的移動速度。

可選的，所述監控量包括：焊接材料的寬度和高度。

可選的，所述第一神經網絡模型或者所述第二神經網絡模型包括：

輸入層，用于輸入輸入值，當所述模型為第一神經網絡模型時，所述輸入值為狀態信息，當所述模型為第二神經網絡模型時，所述輸入值包括：狀態信息和焊接參數；