[發明專利]基于無人飛機熱成像視頻的建筑飾面層脫粘缺陷識別方法

在審

• 申請號: 201910336330.0
• 申請日: 2019-04-25
• 公開（公告）號: CN110044964A
• 公開（公告）日: 2019-07-23
• 發明（設計）人: 鐘新谷;彭雄;趙超
• 申請（專利權）人: 湖南科技大學
• 主分類號: G01N25/72
• 分類號: G01N25/72;G05D1/10;B64C39/02
• 代理公司: 湘潭市匯智專利事務所(普通合伙) 43108
• 代理人: 顏昌偉

1.一種基于無人飛機熱成像視頻的建筑飾面層脫粘缺陷識別方法，其實施裝置包括激光測距儀、紅外熱成像相機、帶航跡規劃系統的多旋翼無人飛行器及云臺；所述云臺安裝在多旋翼無人飛行器的飛機平臺上，云臺與多旋翼無人飛行器之間設有減震裝置，云臺上設有紅外熱成像相機，所述紅外熱成像相機上設有激光測距儀；紅外熱成像相機和激光測距儀能夠將數據通過無線傳輸系統傳回地面電腦；

包括以下步驟：

1)根據被檢測建筑立面的尺寸信息對無人飛機設定檢測飛行航線，按照設定航線對建筑立面飾面層進行視頻錄制，同時將激光測距儀的測距頻率設置與紅外熱成像相機的幀率同步，獲得一個建筑立面完整的紅外熱成像視頻；

2)對錄制的建筑飾面層紅外成像視頻按幀進行解壓，對其中的脫粘缺陷圖像利用Labelme工具制作人工標簽，形成飾面層脫粘缺陷語義分割數據集；

3)基于Deeplab網絡構建建筑外墻飾面脫粘缺陷識別語義分割網絡，將飾面脫粘缺陷數據集在網絡上進行訓練，得到飾面層脫粘缺陷紅外圖像語義分割模型，作為飾面層脫粘缺陷檢測的基準；

4)利用步驟3)中得到的語義分割模型對飾面層檢測視頻進行分析，分割提取脫粘缺陷形狀，并計算脫粘缺陷像素面積；

5)結合同步幀率激光測距儀，根據光學成像換算，計算得到飾面層脫粘實際面積；

6)根據缺陷圖像幀對應的航跡位置對脫粘缺陷進行標記，形成建筑立面飾面層檢測結果圖。

2.根據權利要求1所述的基于無人飛機熱成像視頻的建筑飾面層脫粘缺陷識別方法，步驟2)的具體操作如下：采用Labelme作為圖像標記工具，對飾面層脫粘缺陷紅外熱成像圖片進行人工標記，將脫粘缺陷標記為(R，G，B)＝(128，0，0)的紅色區域，將背景標記為(R，G，B)＝(0，0，0)的黑色區域，制作飾面層脫粘缺陷紅外熱成像數據集；按照訓練集：驗證集＝4∶1的比例，將圖像樣本數據集分成訓練集和驗證集，訓練集圖像數量為800張，驗證集圖像數量為200張。

3.根據權利要求1所述的基于無人飛機熱成像視頻的建筑飾面層脫粘缺陷識別方法，步驟3)的具體操作如下：

a)紅外圖像特征提取

飾面層脫粘缺陷紅外圖像的特征提取是通過卷積過程將數據集圖像中的低層次特征轉化為高階特征的過程，其中卷積公式為：

式中：為第l層的輸出特征；M_ij為輸入圖像,為第l-1層特征；*為卷積運算；為第l層的卷積核；為偏置項；f()為非線性激活函數；i,j為計數參數；

b)空洞卷積擴大紅外特征提取的感受野，其輸出y[i]表示為：

其中：x[]表示輸入特征；ω[k]是一個長度為k的卷積核；r是采樣比，表示在一個卷積核的卷積操作中，被采樣點之間的間隔，當r＝1時，空洞卷積和普通卷積操作相同，i,k為計算參數；

c)并聯空洞卷積模塊獲得紅外圖像多尺度特征

在特征提取部分采用并聯空洞卷積模塊，并聯空洞卷積模塊利用擴張率分別為6、12、18的3×3空洞卷積和一個1×1的卷積對飾面層紅外特征圖并行采樣，獲得圖像的多尺度特征，通過全局平均池化實現圖像級別的特征提取；

d)解碼

將得到的全局特征經過一次1×1的卷積，輸出特征圖，經過雙線性插值恢復到到原圖像的大小，采用Concat算法與步驟c)中得到的多尺度特征圖進行級聯拼接，形成最后預測結果；

e)采用多級交叉熵損失來計算脫粘缺陷輸出預測圖與脫粘缺陷標簽之間的差異，交叉熵損失的計算公式為：

其中，表示分割網絡輸出結果中準確的將標簽a分配給像素x的概率，表示監督學習的訓練集的分類準確性的概率；M為一批尺寸，N表示掩膜的像素數，C表示數據集的類別號，a表示樣本標簽，x表示語義分割網絡對原圖像的分割結果，b為計數參數；

然后，在該框架下對數據集進行訓練,得到圖像掩模

其中是圖像掩模，θ是分割模型的參數，a表示樣本標簽，M為批尺寸，使用反向傳播學習和隨機梯度下降來最小化損失，使用正向傳播交叉熵來計算交叉熵損失l_s；在每次迭代中，從訓練集中抽取一小批圖像，通過公式(5)更新參數θ，直到達到設定條件停止計算，得到飾面層脫粘缺陷識別語義分割模型；

式中：τ為參數更新系數，為θ的偏導。