[發明專利]一種基于計算機視覺和深度學習的樓面缺陷自動檢測方法

有效

• 申請號: 201910010889.4
• 申請日: 2019-01-07
• 公開（公告）號: CN109859171B
• 公開（公告）日: 2021-09-17
• 發明（設計）人: 孫光民;陳佳陽;白云鹍;關世奎;李煜
• 申請（專利權）人: 北京工業大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/11;G06T7/155;G06T7/187
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 劉萍

1.一種基于計算機視覺和深度學習的樓面缺陷自動檢測方法，其特征在于步驟如下：

一.模型預訓練

對SSD模型進行預訓練，得到模型初始化參數；

二.制作標注樣本

首先對樓面圖像進行缺陷位置及種類的標注；然后依據SSD模型的輸入尺寸，以缺陷為中心將原圖裁剪成小圖像塊，同時應用數據擴增技術增加其數量，將其作為該模型的訓練和驗證樣本集；

三.模型遷移學習

使預訓練好的SSD模型在上述樣本集上進行遷移學習，得到用于墻面缺陷檢測的模型；

四.樓面圖像的墻體區域提取

對新拍攝的樓面圖像I進行墻體與非墻體的區域分割，得到墻體掩膜I_Mask；

五.樓面圖像墻體區域分塊

對樓面圖像I進行重疊式分塊，依據掩膜對分塊進行篩選，舍棄處于非墻體區域的分塊，得到待檢測分塊集I_Sub

六.對分塊進行缺陷檢測

應用訓練好的SSD對I_Sub中的各分塊進行檢測，得到每個分塊中缺陷的種類以及位置；

七.分塊檢測結果整合

將上述分塊檢測結果進行拼接整合，直接將缺陷的種類與位置對應到原始大圖I上；

八.修正檢測結果并制作新樣本進一步優化模型

去掉不包含缺陷的檢測框，修正包含缺陷的檢測框，修正方式為重新調整檢測框大小，使其為缺陷的最小外接矩形；

制作標注樣本具體步驟如下：

初始樣本集的制作是需要對樓面圖像進行缺陷位置及種類的標注，要求標注框為缺陷的最小外接矩形，得到初始標注框(x_i，y_i，w_i，h_i)，其中x_i、y_i分別為初始標注框的左上角點的橫軸和縱軸坐標，w_i、h_i分別為初始標注框的寬度和高度；

修正初始標注框，為缺陷主動保留背景；設修正后的標注框為(x_c，y_c，w_c，h_c)修正依據如下公式，其中a∈(0.2，0.5)為擴展參數：

w_c＝w_i*(1+a)

h_c＝h_i*(1+a)

X_c＝x_i-0.5*w_c*a

y_c＝y_i-0.5*h_c*a

然后以缺陷標注框為中心剪切寬為w_ssd，高為h_ssd的小圖像塊作為訓練和測試樣本，并應用數據擴增技術增加樣本的數量，最終得到用于訓練和驗證的樣本集；其中w_ssd和h_ssd分別為SSD模型輸入圖像尺寸的寬和高，而數據擴增采用的是隨機剪裁；設剪裁框為(x_crop，y_crop，W_crop，h_ccrop)，缺陷標注框均小于剪裁框，其生成方式如下：

(1)首先確定剪裁框的中心點坐標為(CX_crop，CY_crop)：

CX_crop＝random(x_c+w_c-0.5*w_crop，x_c+0.5*w_crop)

CY_crop＝random(y_c+h_c-0.5*h_crop，y_c+0.5*h_crop)

w_crop＝w_ssd

h_crop＝h_ssd

(2)然后根據剪裁框中心坐標計算剪裁框的4個參數：

w_crop＝w_ssd

h_crop＝h_ssd

x_crop＝CX_crop-0.5*w_crop

y_crop＝CY_crop-0.5*h_crop；

樓面圖像的墻體區域提取具體步驟如下：

當新拍攝的一組樓體照片需要進行缺陷檢測時，需要先應用傳統圖像處理方法將待檢測的樓面區域與非墻體區域進行分割，非墻體的分割要采用基于HSV顏色空間的閾值分割算法，算法具體執行如下：

(1)首先將原始圖像I從RGB空間轉換為HSV空間；

(2)設定非墻體每一點(x，y)在H通道上的分量H(x，y)∈(T_l，T_h)，其中T_l和T_h分別為設定的上下限；其中設定T_l＝100，T_h-124，

(3)以此二者為閾值進行分割，得到相應的二值圖像I_B；

(4)然后通過形態學操作處理修整I_B；

(5)設I_B有K個連通域，計算各連通域P_k的面積，設定閾值T，保留面積超過T的連通域，舍棄面積未超過閾值的連通域，面積閾值T＝300，得到樓面圖像的墻體區域的掩膜I_Mask；

樓面圖像墻體區域分塊具體步驟如下：

采用重疊式滑窗分割原始大圖；以原圖的左上角為起始點，用固定尺寸、固定滑動步長的窗口進行圖像的分塊；窗口的尺寸(W_W，W_H)為SSD模型的輸入尺寸，其中W_W為窗口寬度，W_H為窗口高度；水平和豎直方向的滑動步長分別為Step_W和Step_H皆設為窗口對應尺寸的一半；是否對滑窗內的圖像進行保存則需要根據第三步得到的樓體照片的墻體掩膜進行判斷；如果一個窗口完全處于非樓體區域，則不用保存；否則，將每次滑窗內的圖像保存下來，并記錄其左上角點在原圖中的坐標信息，即(X_sub，Y_sub)。