[發明專利]基于深度神經網絡的焊縫自動跟蹤方法

在審

• 申請號: 202011463792.8
• 申請日: 2020-12-14
• 公開（公告）號: CN112548273A
• 公開（公告）日: 2021-03-26
• 發明（設計）人: 楊國威;周楠;王以忠;楊敏;許志旺
• 申請（專利權）人: 天津科技大學
• 主分類號: B23K9/127
• 分類號: B23K9/127;B23K9/32
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于深度神經網絡的焊縫自動跟蹤方法，基于深度神經網絡的焊縫自動跟蹤方法包括特征點檢測網絡和特征點跟蹤網絡。將待檢測的焊縫圖像輸入特征點檢測網絡，得到焊縫特征點的位置信息。將特征點位置信息送入焊縫特征點跟蹤網絡，實現焊縫自動跟蹤。總體的網絡實現示意圖由圖1給出。

2.根據權利要求1所述的焊縫特征點檢測網絡，其特征在于：焊縫特征點檢測網絡由特征提取模塊、注意力機制模塊、先驗框生成模塊和識別定位模塊組成。特征提取模塊由卷積層和池化層組成，卷積層提取圖像特征，池化層減少特征圖的大小以降低計算的復雜度。特征提取模塊對焊縫圖像進行邊緣特征，紋理特征及語義特征等進行提取。注意力機制讓網絡把更多的資源放在網絡感興趣的地方，低層特征圖包含圖像的紋理特征，在低層特征圖中加入注意力機制使網絡將注意力放在激光線附近。高層特征圖包含語義信息，加入注意力機制使網絡將注意力從整條激光線轉移到焊縫特征點附近。引入注意力機制模塊可以準確地提取焊縫特征點信息，抑制干擾。將低層特征圖進行下采樣，高層特征圖進行上采樣。對得到的特征圖進行特征融合得到的特征圖既包含低層的紋理信息，又包含高層的語義信息，含有豐富的焊縫特征。先驗框生成模塊是在特征圖上生成固定大小的先驗框，這些區域對應焊縫圖像的若干區域，先驗框生成模塊使網絡從全局檢測特征點轉移到從局部檢測特征點，降低了從整張圖上提取特征點的難度，提高了焊縫特征點檢測的精度。

3.根據權利要求1所述的焊縫特征點跟蹤網絡，其特征在于：焊縫特征點跟蹤網絡由特征提取模塊、注意力機制模塊、響應輸出模塊組成。跟蹤網絡輸入包括模板幀和搜索幀，其中模板幀是以檢測網絡檢測到的特征點的位置為中心的固定大小的區域，搜索幀是以模板幀為中心更大的搜索區域。特征提取模塊由卷積層和池化層組成，利用兩個相同的網絡共享權重參數，分別對模板幀和搜索幀進行特征提取，得到對應的特征圖，注意力機制模塊使網絡將更多的注意力放在焊縫特征點的附近，抑制噪聲信息的干擾。響應輸出模塊將模板特征圖和搜索特征圖進行互相關操作得到響應得分圖，得分高的地方為目標所在位置。將響應圖得分高的位置映射回焊縫原圖得到特征點所在的位置。在跟蹤的過程中，利用模板幀的特征和相關信息，在搜索幀中搜尋目標的位置，將特征點的搜尋范圍從整張焊縫圖像轉移到模板幀目標附近的區域，在保證焊縫跟蹤系統精度的同時能提高焊縫跟蹤系統跟蹤的速度。

4.根據權利要求3實現焊縫特征點檢測網絡的具體步驟為：

(1)整理采集到的焊縫的圖像，對圖像進行焊縫特征點的標注，完成網絡訓練所需要的數據集的制作；

(2)搭建焊縫特征點檢測網絡，使用標注好的數據集對焊縫特征點檢測網絡進行訓練，得到訓練好的網絡模型；

(3)將待檢測焊縫特征點的圖片輸入訓練好的檢測模型中輸出焊縫特征點的檢測結果。

5.根據權利要求3實現焊縫特征點跟蹤網絡的具體步驟為：

(1)篩選和整理采集到的焊縫的圖像，對圖像進行焊縫特征點位置的標注，完成網絡訓練所需要的數據集序列的制作；

(2)根據焊縫圖像的特點設計焊縫特征點跟蹤網絡，使用標注好的數據集對焊縫特征點跟蹤網絡進行訓練，得到訓練好的網絡模型；

(3)將焊縫特征點檢測網絡檢測到的焊縫特征點位置信息輸入焊縫特征點跟蹤網絡，完成對焊縫特征點的自動跟蹤。