[發明專利]一種基于深度學習的螺栓松動檢測方法、系統及存儲介質

有效

• 申請號: 202210507950.8
• 申請日: 2022-05-11
• 公開（公告）號: CN114742820B
• 公開（公告）日: 2023-06-27
• 發明（設計）人: 崔闖;勞武略;張清華;許肇峰;曹珊珊;王勇平
• 申請（專利權）人: 西南交通大學;廣東交科檢測有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T5/00;G06V10/774;G06V10/82
• 代理公司: 成都行之智信知識產權代理有限公司 51256
• 代理人: 宋輝

1.一種基于深度學習的螺栓松動檢測方法，其特征在于，方法步驟包括：

S1：獲取歷史螺栓圖像集，所述歷史螺栓圖像集為在不同條件下采集的螺栓圖像，依次標注圖像中的螺栓目標和關鍵點，并構建第一圖像數據集和第二圖像數據集；

S2：構建目標檢測模型，并通過所述第一圖像數據集對所述目標檢測模型進行訓練，獲得最優目標檢測模型；

S3：構建關鍵點檢測模型，并通過所述第二圖像數據集對所述關鍵點檢測模型進行訓練，獲得最優關鍵點檢測模型；

S4：獲取實時螺栓圖像，所述實時螺栓圖像為待檢測螺栓采集的圖像，并將所述實時螺栓圖像依次輸入到所述最優目標檢測模型以及所述最優關鍵點檢測模型中進行檢測，并根據檢測結果對實時螺栓圖像進行幾何校正，再通過有向邊線值的方法計算螺栓邊線角度值，根據所述角度值判斷螺栓是否松動；

所述S4中，將實時螺栓圖像輸入到目標檢測模型以及關鍵點檢測模型中并根據檢測結果對實時螺栓圖像進行幾何矯正具體為：

S41：將所述實時螺栓圖像輸入到所述最優目標檢測模型中，得到圖像中所有螺栓目標的檢測框位置信息，并根據檢測框信息裁剪實時螺栓圖像得到待檢測單螺栓子圖像集；

S42：將S41中的待檢測單螺栓子圖像集輸入到所述最優關鍵點檢測模型中，得到待檢測單螺栓子圖像集的六個角點坐標，并由六個角點的坐標均值確定各個螺栓中心點坐標，待檢測單螺栓子圖像集中所有螺栓中心點坐標構成中心點集；

S43：采用Voronoi圖確定邊界的方法，對S42中所述中心點集由外至內逐層分類，劃分為若干層次的螺栓圈層，獲得螺栓的中心點相對位置關系并配準各個關鍵點；

S44：根據螺栓的中心點相對位置關系進行圖像幾何變形矯正并求解透視變換矩陣，對S42中各個螺栓的六個角點與中心點進行重投影，獲得矯正后的六個角點與中心點的像素坐標；

所述S4中，通過有向邊線值的方法計算螺栓邊線角度值，根據所述角度值判斷螺栓是否松動具體為：

依次連接矯正后螺栓各個角點與中心點構成螺栓的邊線向量集并計算各有向邊線與水平向右單位向量l₀的夾角且，計算夾角的均值將螺栓前后獲得的均值進行差值運算，若差值不為零，則螺栓出現松動。

2.根據權利要求1所述的一種基于深度學習的螺栓松動檢測方法，其特征在于，所述S1的子步驟包括：

S11：獲取歷史螺栓圖像集，并采用生成對抗網絡對所述歷史螺栓圖像集進行擴充增強，通過LabelImg對增強后的歷史螺栓圖像集中的螺栓進行標注獲得第一標注文件，第一標注文件與增強后的歷史螺栓圖像集合并獲得第一圖像數據集；

S12：根據S11中的螺栓標注結果，將增強后的歷史螺栓圖像集裁剪為單螺栓子圖像集，然后通過Labelme標注單螺栓子圖像集的關鍵點獲得第二標注文件，第二標注文件與單螺栓子圖像集合并獲得第二圖像數據集，所述關鍵點為螺栓的六角點。

3.根據權利要求2所述的一種基于深度學習的螺栓松動檢測方法，其特征在于，所述S12中，通過Labelme對所述單螺栓子圖像集中的關鍵點標注過程具體為：

在對關鍵點進行標注時，以螺栓右上角點為起點，然后沿順時針依次標注；所述右上角點具體判斷方法為：將六個角點的坐標均值作為中心點的坐標，中心點與六個角點分別連接構成向量集合l＝{l_i(i＝1,2,3,4,5,6)}，計算l₀與l_i之間的順時針夾角值θ_i∈[0,360°)，選取θ_i最小點作為螺栓的右上角點，l₀為水平向右單位向量。

4.根據權利要求1所述的一種基于深度學習的螺栓松動檢測方法，其特征在于，S2中，構建目標檢測模型，將所述第一圖像數據集劃分為訓練集、驗證集以及測試集，對所述目標檢測模型進行訓練，獲得最優目標檢測模型。

5.根據權利要求1所述的一種基于深度學習的螺栓松動檢測方法，其特征在于，S3中，構建關鍵點檢測模型，將所述第二圖像數據集劃分為訓練集、驗證集以及測試集，對所述關鍵點檢測模型進行訓練，獲得最優關鍵點檢測模型。