[發明專利]基于旋轉區域候選網絡的焊縫自主識別方法

有效

• 申請號: 201910535404.3
• 申請日: 2019-06-20
• 公開（公告）號: CN110264457B
• 公開（公告）日: 2020-12-15
• 發明（設計）人: 宋偉;張訸;王程;朱世強;肖家豪
• 申請（專利權）人: 浙江大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/60;G06T7/66;G06K9/62
• 代理公司: 杭州浙科專利事務所(普通合伙) 33213
• 代理人: 吳秉中

1.一種基于旋轉區域候選網絡的焊縫自主識別方法，包括離線訓練階段和在線檢測階段，所述的離線訓練階段包括以下步驟：

S1：人工控制載具，利用機載相機從不同位置拍攝焊縫視頻，并間隔固定幀數截取視頻畫面；

S2：使用帶有傾角的矩形框標注圖像中的焊縫，記錄矩形框的中心坐標、長寬和與水平方向的夾角共5個參數，并將數據集隨機劃分為訓練集與測試集；

S3：將圖像與對應的焊縫信息輸入網絡，通過特征提取層計算得原始圖像對應的特征圖；

S4：在特征圖上使用滑窗創建一系列的錨點框，在同一位置有尺寸、長寬比和傾角不同的多個錨點框，作為候選區域；

S5：計算各個候選區域和人工標注的真實焊縫矩形框之間的差異，保留重疊比例較大的部分；

S6：將保留下的候選區域與特征圖共同輸入興趣區域池化網絡，計算保留下來的各個候選區域的分數，并通過邊界回歸網絡優化候選區域的中心坐標、長寬比與傾角；

S7：獲得訓練后的神經網絡，并保存網絡參數；

所述的在線檢測階段包括以下步驟：

S8：輸入相機圖像信號，依據計算機運算性能和載具行進速度間隔固定幀數截取畫面；

S9：加載預先訓練好的網絡參數，向神經網絡逐張輸入圖像；

S10：通過特征提取層計算得原始圖像對應的特征圖；

S11：基于預先訓練的參數，在特征圖上創建一系列的錨點框，作為候選區域；

S12：通過非極大值抑制，保留重疊面積最多的那部分候選區域；

S13：將保留下來的候選區域與特征圖共同輸入興趣區域池化網絡，計算保留下來的各個候選區域的分數，并通過邊界回歸網絡優化候選區域的中心坐標、長寬比與傾角；

S14：輸出分數最高的候選區域的外形輪廓及位置信息，提供給載具的運動控制設備，并將該候選區域標注在視頻畫面中，作為焊縫區域的檢測結果。

2.根據權利要求1所述的一種基于旋轉區域候選網絡的焊縫自主識別方法，其特征在于：所述的步驟S4包括以下子步驟：

S4-1：將經過步驟S3后得到的特征圖作為輸入，通過一個小型滑窗將每一點的特征映射到一個低維特征；這個特征被輸入到兩個同胞全連接層，分別是邊界框回歸層和邊界框分類層；

S4-2：在每個滑窗的位置生成多個候選區域，每個位置可能生成的最多候選區域數目設為k；對于尺寸為W×H的特征圖來說，經過這一步驟會得到WHk個錨點框；因此，邊界框回歸層具有5k個輸出，分別對應邊界框的中心點的橫縱坐標、邊界框的長與寬和邊界框的旋轉角度；邊界框分類層具有2k個輸出，分別估計每個候選區域屬于目標和不屬于目標的概率。