[發明專利]基于旋轉區域候選網絡的焊縫自主識別方法

有效

• 申請號: 201910535404.3
• 申請日: 2019-06-20
• 公開（公告）號: CN110264457B
• 公開（公告）日: 2020-12-15
• 發明（設計）人: 宋偉;張訸;王程;朱世強;肖家豪
• 申請（專利權）人: 浙江大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/60;G06T7/66;G06K9/62
• 代理公司: 杭州浙科專利事務所(普通合伙) 33213
• 代理人: 吳秉中

本發明公開了一種基于旋轉區域候選網絡的焊縫自主識別方法，將焊縫識別的四大主要步驟（圖像預處理、閾值分割、識別焊縫、擬合焊縫）整合在一個深度神經網絡下，對復雜場景下的多類型焊縫，實現了準確、快速、端到端的識別。網絡的核心在于針對焊縫方向特征的區域候選網絡，通過引入網絡中錨點框的傾角參數，消除了水平候選區域帶來的歧義。

技術領域

本發明涉及一種基于旋轉區域候選網絡的焊縫自主識別方法，屬于計算機視覺領域。

背景技術

工業設備通常是由鋼板焊接而成，焊縫的高質量焊接和定期保養是保持其強度的重要手段。現階段的焊接和焊縫探傷，通常由人工作業完成。然而，人工作業依賴工人的技藝，作業質量存在較大的不穩定因素。另外，焊接過程中的高溫、有害氣體等易對工人產生危害；大型設備的焊接與保養，不僅需要腳手架、高空作業等額外輔助設備，而且高空作業存在較高的墜落傷亡隱患。

因此，使用自動化設備代替人工執行焊縫的無人自主焊接及保養任務，是一種安全高效的措施，可以提高焊接及保養作業的精度與效率，并能夠在人工無法作業的極端條件下工作。而無人自主焊縫焊接及保養作業的前提是要實現對焊縫的準確識別。由于圖像包含的信息量豐富，基于圖像的焊縫識別方法越來越受到研究人員的重視。

傳統的焊縫識別方式通常分為四步：圖像預處理、閾值分割、檢測焊縫、擬合焊縫。

圖像預處理。圖像預處理，將原始彩色圖像轉為灰度圖像，并消除圖像中的噪聲。不同類型的噪聲，適用于不同的濾波方式。

閾值分割。閾值分割將圖像分為目標和背景兩部分區域。通過分析圖像的灰度分布，選取合適的閾值。該閾值在灰度分布直方圖上，將灰度顯著地分為兩部分。然而，對于焊縫和背景灰度差異不大的焊縫類型，閾值分割的效果將會很差。尤其是由于污漬和銹跡的存在，使得焊縫的灰度產生較大的變化，這類變化無法被自適應閾值分割所識別，造成分割焊縫的效果不佳。

檢測焊縫。檢測焊縫通常使用邊緣檢測的方式，Hough變換通常只適用于焊接過程的焊縫線提取。對于焊接后的焊縫檢測，通常使用邊緣檢測技術。然而邊緣檢測的效果極度依賴圖像中物體的紋理信息，如果閾值分割后焊縫的邊緣和周圍物體的邊緣界限不明顯，會給焊縫的邊緣定位帶來極大的誤差，甚至丟失焊縫目標。

擬合焊縫。提取焊縫的特征通常是通過焊縫的邊沿坐標，計算得到焊縫中心的坐標，進而擬合出焊縫中心線。

實際上，實現自主識別焊縫仍存在許多待解決的問題，現存的問題包括：光照與陰影對圖像質量的影響、焊縫種類對識別算法適應能力的挑戰、銹跡或污漬對焊縫目標的干擾或遮蓋等等。根據上述傳統焊縫檢測方法的分析可知，基于圖像形態學處理和專家算法的焊縫檢測方法存在一定缺陷：傳統的焊縫檢測瓶頸在于檢測焊縫的能力，對于復雜環境下的不同種類焊縫，傳統焊縫檢測方法易失去目標或提取錯誤目標。因此，仍然需要一種快速且通用、可以應對具有不同特征焊縫的檢測方式或模型。近幾年，神經網絡在目標檢測上表現出優越的性能，尤其是復雜背景下多類目標的檢測。

R-CNN首次提出了使用選擇性搜索提取候選框，避免了舊算法在每個像素上生成候選框，相比后者大幅度減小了卷積網絡的計算量。但R-CNN需要對不同尺寸的候選框進行裁剪或拉伸操作，使其成為同一固定尺寸，然后在提取候選框內的特征圖，最后送入分類和邊界回歸網絡，不僅耗費時間，還會造成圖像數據的丟失或幾何的失真。

SPP-Net引入了金字塔思想，通過SPP層將不同尺度的候選框輸出成同一尺度的候選框，且不丟失原圖的信息。另外，相比R-CNN，SPP-Net只對原圖像進行一次卷積操作提取特征圖，在這一部分比R-CNN有100倍左右的提速。但SPP-Net的網絡層數仍較多，關鍵的步驟沒有得到本質的簡化，計算量仍是影響其時間的主要問題。