[發(fā)明專利]基于強(qiáng)化學(xué)習(xí)的焊接參數(shù)確定方法、焊接方法和設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201810876859.7
• 申請(qǐng)日: 2018-08-03
• 公開（公告）號(hào): CN109031954B
• 公開（公告）日: 2021-06-25
• 發(fā)明（設(shè)計(jì)）人: 劉旭;劉建都;戚曉亞
• 申請(qǐng)（專利權(quán)）人: 北京深度奇點(diǎn)科技有限公司
• 主分類號(hào): G05B13/04
• 分類號(hào): G05B13/04
• 代理公司: 北京細(xì)軟智谷知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11471
• 代理人: 付登云

1.一種基于強(qiáng)化學(xué)習(xí)的焊接參數(shù)確定方法，其特征在于，包括：

檢測(cè)焊接過(guò)程中的當(dāng)前狀態(tài)信息；

根據(jù)預(yù)先訓(xùn)練得到的第一神經(jīng)網(wǎng)絡(luò)模型和所述當(dāng)前狀態(tài)信息得到當(dāng)前焊接參數(shù)，所述第一神經(jīng)網(wǎng)絡(luò)模型用于表示狀態(tài)信息到焊接參數(shù)的映射；

其中，所述第一神經(jīng)網(wǎng)絡(luò)模型是根據(jù)第一訓(xùn)練數(shù)據(jù)訓(xùn)練得到的，所述第一訓(xùn)練數(shù)據(jù)包括：狀態(tài)信息和焊接參數(shù)；

所述第一訓(xùn)練數(shù)據(jù)是根據(jù)預(yù)先訓(xùn)練得到的第二神經(jīng)網(wǎng)絡(luò)模型選擇的反饋值大于預(yù)設(shè)值的狀態(tài)信息和焊接參數(shù)，所述第二神經(jīng)網(wǎng)絡(luò)模型用于表示狀態(tài)信息和焊接參數(shù)到反饋值的映射；

所述反饋值用于反映所述當(dāng)前焊接參數(shù)的好壞，以使所述第一神經(jīng)網(wǎng)絡(luò)模型輸出最優(yōu)焊接參數(shù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：

在采用所述當(dāng)前焊接參數(shù)完成所述焊接過(guò)程后，獲取監(jiān)控量；

根據(jù)所述監(jiān)控量計(jì)算當(dāng)前反饋值，并根據(jù)所述當(dāng)前狀態(tài)信息和所述當(dāng)前焊接參數(shù)以及所述當(dāng)前反饋值作為第二訓(xùn)練數(shù)據(jù)，采用第二訓(xùn)練數(shù)據(jù)重新訓(xùn)練所述第二神經(jīng)網(wǎng)絡(luò)模型，得到更新后的第二神經(jīng)網(wǎng)絡(luò)模型；

根據(jù)更新后的第二神經(jīng)網(wǎng)絡(luò)模型重新選擇第一訓(xùn)練數(shù)據(jù)，并采用重新選擇的第一訓(xùn)練數(shù)據(jù)重新訓(xùn)練所述第一神經(jīng)網(wǎng)絡(luò)模型，得到更新后的第一神經(jīng)網(wǎng)絡(luò)模型；

在開始新的焊接過(guò)程后，采用更新后的第一神經(jīng)網(wǎng)絡(luò)模型更新焊接參數(shù)。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述狀態(tài)信息是焊縫信息，所述檢測(cè)焊接過(guò)程中的當(dāng)前狀態(tài)信息，包括：

獲取焊板圖像；

對(duì)所述焊板圖像進(jìn)行圖像識(shí)別，提取出焊縫信息，所述焊縫信息包括：焊縫寬度。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述焊接參數(shù)包括：焊槍的移動(dòng)速度。

5.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述監(jiān)控量包括：焊接材料的寬度和高度。

6.根據(jù)權(quán)利要求1-5任一項(xiàng)所述的方法，其特征在于，所述第一神經(jīng)網(wǎng)絡(luò)模型或者所述第二神經(jīng)網(wǎng)絡(luò)模型包括：

輸入層，用于輸入輸入值，當(dāng)所述模型為第一神經(jīng)網(wǎng)絡(luò)模型時(shí)，所述輸入值為狀態(tài)信息，當(dāng)所述模型為第二神經(jīng)網(wǎng)絡(luò)模型時(shí)，所述輸入值包括：狀態(tài)信息和焊接參數(shù)；

數(shù)據(jù)層，用于對(duì)所述狀態(tài)信息表示的數(shù)據(jù)進(jìn)行拼接，得到向量形式的數(shù)據(jù)；

數(shù)據(jù)重組層，用于對(duì)所述數(shù)據(jù)層輸出的數(shù)據(jù)的維度重新設(shè)計(jì)；

全連接層，用于把所述數(shù)據(jù)層輸出的數(shù)據(jù)線性變換到高維度；

激活層，用于對(duì)所述全連接層輸出的數(shù)據(jù)進(jìn)行非線性映射；

拼接層，用于對(duì)所述激活層和所述數(shù)據(jù)重組層輸出的數(shù)據(jù)進(jìn)行拼接；

歸一化層，用于對(duì)所述拼接層輸出的數(shù)據(jù)進(jìn)行歸一化；

重新縮放層，用于對(duì)歸一化后的數(shù)據(jù)進(jìn)行重新縮放；

輸出層，用于根據(jù)重新縮放后的數(shù)據(jù)輸出輸出值，當(dāng)所述模型為第一神經(jīng)網(wǎng)絡(luò)模型時(shí)，所述輸出值為焊接參數(shù)，當(dāng)所述模型為第二神經(jīng)網(wǎng)絡(luò)模型時(shí)，所述輸出值包括：反饋值。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述全連接層為并聯(lián)的多個(gè)全連接層。

8.根據(jù)權(quán)利要求6所述的方法，其特征在于，在訓(xùn)練所述第一神經(jīng)網(wǎng)絡(luò)模型或第二神經(jīng)網(wǎng)絡(luò)模型時(shí)，所述第一神經(jīng)網(wǎng)絡(luò)模型或第二神經(jīng)網(wǎng)絡(luò)模型還包括：

損失層，用于根據(jù)所述輸出值確定損失函數(shù)，并通過(guò)最小化損失函數(shù)確定第一神經(jīng)網(wǎng)絡(luò)模型或第二神經(jīng)網(wǎng)絡(luò)模型的模型參數(shù)，以訓(xùn)練得到第一神經(jīng)網(wǎng)絡(luò)模型或第二神經(jīng)網(wǎng)絡(luò)模型。

9.一種基于強(qiáng)化學(xué)習(xí)的焊接方法，其特征在于，包括：

采用如權(quán)利要求1-5任一項(xiàng)所述的方法確定焊接參數(shù)；

采用所述焊接參數(shù)進(jìn)行焊接。

10.一種電子設(shè)備，其特征在于，包括：處理器，用于存儲(chǔ)處理器可執(zhí)行指令的存儲(chǔ)器；其中，所述處理器被配置為：

檢測(cè)焊接過(guò)程中的當(dāng)前狀態(tài)信息；

根據(jù)預(yù)先訓(xùn)練得到的第一神經(jīng)網(wǎng)絡(luò)模型和所述當(dāng)前狀態(tài)信息得到當(dāng)前焊接參數(shù)，所述第一神經(jīng)網(wǎng)絡(luò)模型用于表示狀態(tài)信息到焊接參數(shù)的映射；

其中，所述第一神經(jīng)網(wǎng)絡(luò)模型是根據(jù)第一訓(xùn)練數(shù)據(jù)訓(xùn)練得到的，所述第一訓(xùn)練數(shù)據(jù)包括：狀態(tài)信息和焊接參數(shù)；

所述第一訓(xùn)練數(shù)據(jù)是根據(jù)預(yù)先訓(xùn)練得到的第二神經(jīng)網(wǎng)絡(luò)模型選擇的反饋值大于預(yù)設(shè)值的狀態(tài)信息和焊接參數(shù)，所述第二神經(jīng)網(wǎng)絡(luò)模型用于表示狀態(tài)信息和焊接參數(shù)到反饋值的映射；

或者，被配置為：采用如權(quán)利要求1-5任一項(xiàng)所述的方法確定焊接參數(shù)；

采用所述焊接參數(shù)進(jìn)行焊接。