[發明專利]一種基于多任務學習的排水管道異常類型自動檢測方法

有效

• 申請號: 201911125639.1
• 申請日: 2019-11-18
• 公開（公告）號: CN110930377B
• 公開（公告）日: 2022-05-13
• 發明（設計）人: 鐘尚平;陳雨寒;陳開志
• 申請（專利權）人: 福州大學
• 主分類號: G06T7/00
• 分類號: G06T7/00
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 陳明鑫;蔡學俊

1.一種基于多任務學習的排水管道異常類型自動檢測方法，其特征在于，包括如下步驟：

步驟S1、建立訓練數據集：從歷史檢測報告及排水管道機器人拍攝的視頻中隨機抽取視頻幀形成管道圖像集，對于管道圖像集里的每個圖像，按照城鎮排水管道檢測與評估技術規程中給出的管道評估方式對圖像進行標注，形成管道圖像集S和圖像標簽集γ，對于管道圖像集S里的每個圖像集X(n)，有與之對應的圖像標簽集γ，γ＝(γ(1),γ(2),…γ(n))，γ(n)表示第ω(n)張圖像所屬管道異常類型；按照70％，10％，20％的比例將所述管道圖像集劃分成訓練集、驗證集和測試集；在深度學習中，為避免出現過擬合，對訓練集中的圖像數據進行數據增強和標準化處理；

步驟S2、使用步驟S1得到的訓練集圖像通過梯度下降算法訓練深度殘差神經網絡；

步驟S3、使用步驟S2中訓練好的神經網絡對步驟S1中的訓練集圖像進行識別，圖像依次經過卷積層、池化層獲取神經網絡倒數第二層特征向量，通過特征向量構建缺陷的深度特征空間，基于深度特征空間構建深度特征直方圖；

步驟S4、使用步驟S3中得到的各類別深度特征直方圖進行相似性度量，一一對比不同類別深度特征直方圖的相似性，根據相似性對缺陷進行分組；

步驟S5、使用步驟S4中分組結果構建多任務深度殘差神經網絡，使用步驟S1得到的訓練集圖像通過梯度下降算法訓練神經網絡；

步驟S6、使用步驟S4中訓練好的神經網絡對待識別的圖像進行識別，圖像依次經過卷積層、池化層和激活層后得到圖像中包含缺陷的類型；

所述步驟S5中，使用步驟S4中分組結果構建多任務深度殘差神經網絡的方式如下：

以殘差網絡為主干網，不同任務之間共享前4個殘差卷積塊，在第4塊殘差卷積塊后形成多任務分支；每個分支由一個殘差卷積塊，平均池化層，全連接層和一個softmax激活層組成；分支從根據分組結果從功能上劃分為兩大任務模塊：高級任務模塊和低級任務模塊，高級任務模塊的分類目標為對不同分組的缺陷圖像進行分類，最終輸出圖像歸屬分組的概率；低級任務模塊擁有多個子任務，每個子任務對組內不同缺陷進行分類，最終輸出圖像歸屬組內具體類別的概率；缺陷分類結果來自條件概率：

式中，P(A)表示高級任務模塊輸出概率，P(B|A)表示低級任務模塊輸出概率，分好組后的缺陷一定會被劃分至對應的組中，則條件概率P(A|B)恒等于1，由此得到最終的分類結果；訓練選用聯合優化訓練方法進行訓練，聯合優化的損失函數表示為如下形式：

式中，為高級任務的交叉熵損失函數，為低級任務各子任務損失函數的和。

2.根據權利要求1所述的一種基于多任務學習的排水管道異常類型自動檢測方法，其特征在于，所述步驟S1中，管道異常類型劃分為變形、沉積、錯口、腐蝕、破裂、起伏、滲漏、樹根，依次對應的γ值為0，1，2...6，7。

3.根據權利要求1所述的一種基于多任務學習的排水管道異常類型自動檢測方法，其特征在于，所述步驟S1中，對訓練集中的圖像數據進行數據增強和標準化處理的過程具體包括以下步驟：

步驟S11、對訓練集中的圖像數據進行數據增強；所述進行數據增強的方法包括水平翻轉、旋轉、改變圖像色彩、加入噪聲；

步驟S12、將步驟S11中的進行數據增強后的圖像集按短邊等比例縮放至固定大小，范圍為256～512之間；

步驟S13、對步驟S12縮小后的圖片隨機裁剪出224×224的子圖；

步驟S14、對步驟S13中產生的子圖進行標準化處理，具體采用以下公式：

式中，x_i表示一張圖中的其中一個像素點；x_min表示圖中所有像素的最小值點，x_max表示圖中所有像素的最大值點。

4.根據權利要求1所述的一種基于多任務學習的排水管道異常類型自動檢測方法，其特征在于，所述步驟S2中，深度殘差網絡結構由5個殘差卷積塊組成，殘差卷積塊之間通過Shortcut的結構連接，每個殘差卷積塊由3個卷積層組成，使用1×1、3×3、1×1的3個卷積層串接在一起作為一個殘差卷積塊。

5.根據權利要求1所述的一種基于多任務學習的排水管道異常類型自動檢測方法，其特征在于，所述步驟S3中，構建深度特征直方圖的方式如下：

步驟S31、使用步驟S1中劃分好類別的訓練集并采用步驟S2中訓練好的神經網絡提取深度特征，取步驟S2中網絡倒數第二層2048維向量作為訓練集中每張圖像的深度特征向量；

步驟S32、將步驟S31中獲取的深度特征向量按照類別組合在一起構成深度特征矩陣；

步驟S33、對步驟S32中每個類別的深度特征矩陣繪制深度特征直方圖。