[發明專利]一種基于無人機視覺的建筑損傷實時識別方法

在審

• 申請號: 202110448009.9
• 申請日: 2021-04-25
• 公開（公告）號: CN113297909A
• 公開（公告）日: 2021-08-24
• 發明（設計）人: 孫奧;金鑫;管相源;史平凡;徐照;葛曉永;洪敏;金明堂
• 申請（專利權）人: 東南大學;南京市江北新區中央商務區建設管理辦公室
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/20;G06N3/04
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 羅運紅

本發明公開了一種基于無人機視覺的建筑損傷實時識別方法，包括如下步驟：無人機攝像頭采集數據，寫入內存；圖像數據推流；處理器讀取圖像數據；計算獲取建筑損傷目標的相關度；疊加損傷識別框并進行統計；推流顯示。本發明方法能夠實現建筑損傷的實時識別，同時具有較低的延時和較高的準確率。

技術領域

本發明涉及無人機技術建筑應用領域，尤其涉及一種基于無人機視覺的建筑損傷實時識別方法。

背景技術

隨著機器學習的不斷發展，其逐漸應用到各個行業中。深度學習技術的出現，使得目標檢測研究取得了重大進展。但目前基于深度學習的目標檢測算法也無法實現實時的、復雜背景下的目標檢測；傳統的基于分割、分類器的目標檢測方法因為有著較高的延時、較低的識別速度和準確度，已經不再適應于無人機系統。

發明內容

本發明的目的就在于為了解決上述問題而提供一種基于無人機視覺的建筑損傷實時識別方法，包括如下步驟：

步驟(1)，無人機攝像頭采集建筑損傷數據，寫入內存；

步驟(2)，將建筑損傷圖像數據通過推流傳輸至服務器；

步驟(3)，數據處理服務器讀取圖像數據，進行數據處理；

步驟(4)，Focus結構將原始圖像數據進行切片操作，形成特征圖；

步驟(5)，卷積層神經網絡對圖像數據進行卷積處理；并使用最大值池化處理；

步驟(6)，激勵層使用ReLU函數對卷積層的輸出進行一個非線性映射；

步驟(7)，全連接層使用矩陣向量乘積把提取的特征數據進行分類，矩陣向量乘積具體包括：y＝Wx,其中W為權重向量，x為特征向量；

步驟(8)，使用nms非極大值抑制對檢測結果進行目標框的篩選；

步驟(9)，讀取建筑損傷圖像數據，進行逐幀識別處理；

步驟(10)，疊加損傷識別框并進行統計；并通過推流進行顯示。

進一步的，所述步驟(2)中將建筑損傷圖像數據推流至服務器具體包括：數據傳輸選用較為成熟的Nginx流媒體服務器來接收發送過來的建筑損傷圖像數據，推流側使用rtmp協議將圖像數據傳輸到服務器中。

進一步的，所述步驟(4)中Focus結構將原始圖像數據進行切片操作具體包括：將圖像中相鄰的四個塊從平面改為特征上的函數，從而將信息就集中到了通道空間，輸入通道擴充了4倍，即拼接起來的圖片相對于原先的3通道模式變成了12個通道，最終得到了沒有信息丟失情況下的二倍下采樣特征圖。

進一步的，所述步驟(5)中卷積處理和最大值池化選擇具體包括：

其中，s(i,j)為圖像在(i,j)的卷積值，W為m*n的卷積核，即w(m,n)，X為輸入的矩陣，x(i,j)表示矩陣X在(i,j)處的值，表示在矩陣X中分別選取m*n的分支矩陣；

F(x，y)＝max{g(x+i，y+j)，i∈(0，n)，j∈(0，n)}

其中n表示核的大小，F(x，y)表示圖像中(x，y)處附近n*n范圍內最大的像素值作為max-pooling之后的結果，g(x+i，y+j)表示點(x+i,y+j)的像素值。

進一步的，所述步驟(6)中ReLU函數具體包括：

其中，a為橫坐標值，ReLU(a)為非線性映射的函數結果。

進一步的，所述步驟(8)中使用nms非極大值抑制對檢測結果進行目標框的篩選的具體過程為：