[發明專利]一種基于深度學習的墻體缺陷檢測方法

有效

• 申請號: 202110038472.6
• 申請日: 2021-01-12
• 公開（公告）號: CN112700435B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 朱超俊;張鑫
• 申請（專利權）人: 華南理工大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06V10/44;G06V10/82;G06V10/764;G06N3/0464;G06N3/08
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 何淑珍;江裕強

1.一種基于深度學習的墻體缺陷檢測方法，其特征在于，包括以下步驟：

S1、采集墻體缺陷圖像，對圖像進行標注，包括以下步驟：

S1.1、通過終端設備收集室內墻體存在缺陷的圖像；

S1.2、利用標注工具labelimg或labelme，對每張圖像中的墻體缺陷部分進行標注，并將標注的信息記錄在xml文件中；

S2、對標注數據整理構成數據集，并對數據集進行數據增強，完成數據集的構建，包括以下步驟：

S2.1、對步驟S1中得到的數據集進行平移變換，保持圖像原有的分類類別，以及生成相應的標注信息，增加樣本數量；

S2.2、對步驟S2.1中得到的數據集進行隨機旋轉變換，并對標注信息進行相應的改變，增加樣本數量；

S2.3、對步驟S2.2中得到的數據集進行隨機裁剪變換，并對標注信息進行相應的改變，增加樣本數量；

S2.4、對步驟S2.3中得到的數據集進行隨機翻轉變換，并對標注信息進行相應的改變，增加樣本數量；

S2.5、對步驟S2.4中得到的數據集進行隨機圖像色彩變換，并對標注信息進行相應的改變，增加樣本數量；

S3、使用步驟S2中構建好的數據集，訓練一個基于ResNeXt的圖像分類器，包括以下步驟：

S3.1、搭建ResNeXt深度學習模型；

S3.2、使用公開的圖像數據集，對ResNeXt深度學習模型進行預訓練并保存ResNeXt深度學習模型的參數；

S3.3、采用遷移學習的方法，加載步驟S3.2中得到的ResNeXt深度學習模型的參數，使用步驟S2中構建的數據集對ResNeXt深度學習模型進行再次訓練，得到訓練好的ResNeXt深度學習模型；

S4、利用訓練好的ResNeXt作為特征提取器，搭建基于Faster-RCNN架構的目標檢測器，包括以下步驟：

S4.1、將訓練好的ResNeXt深度學習模型的結構進行改造，去除ResNeXt深度學習模型的分類器部分，保留特征提取部分；

S4.2、采用特征金字塔網絡的網絡層，對步驟S4.1中從ResNeXt深度學習模型提取的不同層的特征進行多尺度的特征融合；

S4.3、搭建Faster-RCNN的RPN層，ROI層以及圖像分類器和回歸器，圖像分類器用于區分圖像種類，回歸器用于預測坐標，確定缺陷在圖像中的位置；通過步驟S4.1、步驟S4.2以及步驟S4.3完成基于Faster-RCNN架構的目標檢測器的搭建；

S5、將步驟S2中構建好的數據集作為步驟S4搭建好的Faster-RCNN架構的目標檢測器網絡的輸入，進行訓練，得到缺陷檢測模型；

S6、使用多進程和多線程技術部署缺陷檢測模型，提升缺陷檢測模型的檢測速度，采用缺陷檢測模型進行墻體缺陷檢測。

2.根據權利要求1所述的一種基于深度學習的墻體缺陷檢測方法，其特征在于，步驟S1.1中，所述終端設備為拍攝裝置，包括手機、攝像機。

3.根據權利要求1所述的一種基于深度學習的墻體缺陷檢測方法，其特征在于，在步驟S32中，設置學習率為0.1，并設置衰減系數為0.0001，動量圍為0.9；在步驟S3.3中設置學習率為0.01，設置衰減系數為1×10^-5，動量為0.9；

在步驟S3.2和步驟S3.3中的模型訓練中使用以下公式計算損失：

其中y為圖像標注類別，p為預測值；步驟S3.2和步驟S3.3中的模型中使用的分類器為sigmod。

4.根據權利要求1所述的一種基于深度學習的墻體缺陷檢測方法，其特征在于，步驟S5包括以下步驟：

S5.1、先對ResNeXt模型加載步驟S3中訓練好的模型參數，并固定參數不參與后續的模型訓練；

S5.2、使用公開的COCO圖像數據集先對步驟S4中搭建的基于Faster-RCNN架構的目標檢測器模型進行預訓練，并保存預訓練得到的模型參數；

S5.3、使用步驟S4中搭建的基于Faster-RCNN架構的目標檢測器模型進行預訓練模型先加載步驟S5.2中得到的模型參數，在將步驟S2中得到的數據集數據導入加載步驟S5.2中得到的模型參數后的基于Faster-RCNN架構的目標檢測器模型進行訓練，最終得到缺陷檢測模型。