[發明專利]一種基于線結構光的扣件檢測算法

在審

• 申請號: 202110197421.8
• 申請日: 2021-02-22
• 公開（公告）號: CN112950562A
• 公開（公告）日: 2021-06-11
• 發明（設計）人: 鄭嘉;鄧成呈;馬靈濤
• 申請（專利權）人: 杭州申昊科技股份有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06K9/46;G06N3/04;G06N3/08
• 代理公司: 北京國貝知識產權代理有限公司 11698
• 代理人: 柯俊

1.一種基于線結構光的扣件檢測算法，其特征在于包括以下步驟：

(a)通過深度學習目標檢測，在深度圖中定位出扣件區域；

(b)在所述扣件區域通過模板匹配算法粗定位出彈條位置；

(c)將所述深度圖還原為三維點云，并根據粗定位的結果進行精確定位，得到精確定位的彈條位置；

(d)根據精確定位的彈條位置檢測對應缺陷。

2.根據權利要求1所述的一種基于線結構光的扣件檢測算法，其特征在于：在步驟(a)中，基于所述深度學習目標檢測，采用Faster-RCNN檢測方法，所述Faster-RCNN檢測方法的檢測步驟如下：

(1)收集現場各種環境下拍攝的原圖，并標注扣件位置，將圖片與標注文件輸入給Faster-RCNN進行訓練；

(2)所述Faster-RCNN通過卷積方式將圖片提取為多維特征圖，并通過RPN區域生成網絡和RCNN分類網絡在圖片上生成若干預測框；

(3)根據所述標注文件，確定標注框與所述預測框，并自動尋找所述預測框與所述標注框兩者的區別，生成訓練結果并記錄。

(4)在訓練大量圖片之后，神經網絡按照同樣規律在傳入全新的圖片時預測扣件位置。

3.根據權利要求2所述的一種基于線結構光的扣件檢測算法，其特征在于：在步驟(a)的第(3)步中，在確定所述標注框與所述預測框后，需要對所述預測框的偏差進行修改。

4.根據權利要求1所述的一種基于線結構光的扣件檢測算法，其特征在于：在步驟(b)中，所述模板匹配算法粗定位出彈條位置的步驟如下：

首先通過sobel算子計算模板圖片的各向梯度，通過各向梯度與圖片卷積得到梯度圖，所述梯度圖上每個像素的灰度值表示此像素在原圖上的梯度信息，

結合所述梯度圖，得到每個點的綜合梯度大小和方向，然后在所述梯度圖中選取梯度大小高于設定值的點，并作均勻采樣，做為最終選用的特征點；最后將梯度方向可作為描述子，得到模板文件。

5.根據權利要求4所述的一種基于線結構光的扣件檢測算法，其特征在于：所述模板文件的制作采用多角度模板，得到多角度模板文件，根據所述多角度模板文件，在匹配時根據匹配得分選取最佳結果。

6.根據權利要求5所述的一種基于線結構光的扣件檢測算法，其特征在于：在匹配時，計算原圖的梯度圖，并對各點的梯度特征進行擴散，再通過滑動窗口進行匹配，輸出得分最高的結果。

7.根據權利要求1所述的一種基于線結構光的扣件檢測算法，其特征在于：在步驟(c)中，所述深度圖還原為三維點云采用迭代最近點算法的方式，將深度圖上模板匹配的結果映射到點云圖中，作為迭代最近點算法的初始值；然后找到模板點云各點的最鄰近點，并計算最優匹配參數R和t；采用的誤差函數如下：

其中n為最鄰近點對的個數，P_i為第i對最鄰近點中的待匹配點，q_i為第i對最鄰近點中的模板點,R為旋轉矩陣，t為平移矩陣。

8.根據權利要求7所述的一種基于線結構光的扣件檢測算法，其特征在于：采用所述迭代最近點算法的步驟如下：

(1)根據所述迭代最近點算法的初始值，計算待模板點云中各點在待匹配點云中的最鄰近點，并組成點對；

(2)計算旋轉矩陣R和平移矩陣t；

(3)通過計算的旋轉矩陣R和平移矩陣t對模板點云進行變換，針對變換后的模板點云，重復上述步驟(1)和步驟(1)，直到E(R，t)小于設定的閾值或迭代次數到設定值，得到精確定位的彈條位置。

9.根據權利要求1所述的一種基于線結構光的扣件檢測算法，其特征在于：在步驟(d)中，所述彈條位置檢測對應的缺陷包括：彈條斷裂、彈條變形及表面異物、擋塊是否存在和離縫值測量。

10.根據權利要求9所述的一種基于線結構光的扣件檢測算法，其特征在于：針對所述離縫值測量，通過彈條所在位置的底座與彈條上緊固螺栓螺母的高度值來計算。