[發明專利]一種基于深度學習的預制橋墩鋼筋孔制造誤差智能識別方法

有效

• 申請號: 202110234516.2
• 申請日: 2021-03-03
• 公開（公告）號: CN112967249B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 李枝軍;張輝;徐后生;劉武;徐秀麗;李雪紅
• 申請（專利權）人: 南京工業大學;南京市路橋工程總公司
• 主分類號: G06V20/10
• 分類號: G06V20/10;G06V10/26;G06V10/764;G06V10/82;G06T7/13;G06N3/0464;G06N3/082
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 徐激波

1.一種基于深度學習的預制橋墩鋼筋孔制造誤差智能識別方法，其特征在于，包括如下步驟：

步驟S1、獲取預制橋墩底部混凝土截面圖像和預制鋼筋孔圖像，形成數據集，并且按照一定比例，將所述數據集劃分成訓練集和測試集；

步驟S2、對所述訓練集中的圖像進行標注處理；選取Labelme作標注工具，將所述訓練集圖像上的鋼筋孔hole標注成綠色，混凝土截面board標注成紅色，背景other標注成黑色；然后將綠色標簽的灰度值轉化為1，將紅色標簽的灰度值轉化為0，將黑色標簽的灰度值轉化為2；

步驟S3、對所述數據集中的圖像進行預處理；對數據集中的圖像進行裁剪處理，裁剪圖像中周邊部分環境部分，得到850像素*850像素大小的圖像，再對該圖像進行數據增強的操作；然后將數據集轉化為灰度圖，尺寸轉化為800像素*800像素；最后將數據集中圖像進行局部歸一化處理以及打亂處理，得到經過預處理后的數據集；

步驟S4、通過TensorFlow框架構建SegNet語義分割深度學習網絡，并且將訓練集中的圖像作為所述SegNet語義分割深度學習網絡的輸入，對其進行訓練，獲得權重參數，進而得到語義分割模型；根據標簽中的三個類別，將所述SegNet語義分割深度學習網絡中的多分類情況改為三分類；在訓練過程中，采用PReLU激活函數和一種魯棒性的權重初始化的方法，對解碼器和編碼器進行權值初始化操作；在訓練過程中，采用梯度下降算法對所述SegNet語義分割深度學習網絡進行訓練，學習率設為0.1，沖量設為0.9；采用交叉熵損失函數，對一個batch中的每張圖片的每個像素點的loss求和；采用中位數頻率平衡方法優化訓練過程，該方法即是對每一個類別添加一個權值，對于類別other和board設置第一個權值，對于類別hole，設置第二個權值，第一個權值小于第二個權值；在所述SegNet語義分割深度學習網絡中所有的卷積層與ReLU激活函數之間添加BN層；

步驟S5、通過所述語義分割模型對所述測試集中的圖像進行檢測，輸出要素分割的圖像；

步驟S6、對步驟S5得到要素分割的圖像進行邊緣檢測處理，得到鋼筋孔和底部界面的輪廓，并且進行輪廓的查找和繪制；通過OpenCV中的cv2.Canny()函數來實現語義分割后的圖像的邊緣檢測，設置兩個閾值，其中一個為高閾值maxVal，另一個為低閾值minVal；根據當前邊緣像素的梯度值與這兩個閾值之間的關系，判斷邊緣的屬性，從而得到圖像的邊緣信息；通過OpenCV中的cv2.findContours()函數查找圖像的輪廓，并根據參數返回特定表示方式的輪廓；通過cv2.drawContours()函數將查找到的輪廓繪制到圖像上，將鋼筋孔的輪廓和橋墩底部截面輪廓分別繪制出來；

步驟S7、對輪廓進行擬合，計算輪廓的長度，獲得像素尺寸，并根據比例系數確定制造尺寸。

2.根據權利要求1所述的一種基于深度學習的預制橋墩鋼筋孔制造誤差智能識別方法，其特征在于，通過工業相機拍攝預制橋墩底部混凝土進而獲取預制橋墩底部混凝土截面圖像和預制鋼筋孔圖像。

3.根據權利要求1所述的一種基于深度學習的預制橋墩鋼筋孔制造誤差智能識別方法，其特征在于，所述步驟S4還包括：當給所述SegNet語義分割深度學習網絡輸入了至少10000條訓練集的圖像時，訓練完成，將訓練好的卷積層、池化層、反卷積層、反池化層的權重參數保留為ckpt文件，最后的全連接層的權重置為隨機數。

4.根據權利要求1所述的一種基于深度學習的預制橋墩鋼筋孔制造誤差智能識別方法，其特征在于，所述步驟S5包括：加載步驟S4中獲得的ckpt文件，運行所述語義分割模型對所述測試集中的圖像進行檢測，得到要素分割的圖像。

5.根據權利要求1所述的一種基于深度學習的預制橋墩鋼筋孔制造誤差智能識別方法，其特征在于，所述步驟S7包括：通過cv2.arcLength()函數計算各個輪廓的長度，使用判斷結構語句“ifcv2.arcLength(contours[i],True)cntLenAvr:”對各個輪廓的長度進行判斷，并根據判斷結果決定是否顯示對應的輪廓；根據顯示的各個鋼筋孔輪廓的長度和墩柱底部界面的輪廓長度，通過比例系數將像素尺寸轉換為制造尺寸。