[發明專利]一種基于遷移學習的建筑物標定方法

有效

• 申請號: 201910745724.1
• 申請日: 2019-08-13
• 公開（公告）號: CN110619059B
• 公開（公告）日: 2021-07-27
• 發明（設計）人: 余林林;毛家發;胡亞紅;盧書芳;王寧;郎嘉瑾
• 申請（專利權）人: 浙江工業大學
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06N3/04;G06N3/08
• 代理公司: 杭州天正專利事務所有限公司 33201
• 代理人: 王兵;黃美娟

1.一種基于遷移學習的建筑物標定方法，包括以下步驟：

步驟1.自制數據集，建筑物數據集來自于Google圖片以及百度圖片，基于現有的數據集共分為七類生活中常見的建筑物，分別為教堂，居民樓，醫院，酒店，圖書館，別墅住房以及商場，并作均一化處理；

步驟2.構建基于遷移學習的多特征標定神經網絡模型，整個網絡架構分為圖像特征標定，圖像特征提取，數據庫匹配，以及圖形認證；

圖像特征標定：針對建筑物風格明顯的建筑物進行單一特征標定，風格多樣的進行多特征標定，繼而形成該圖片的特征矩陣；

圖像特征提?。哼M行特征標定后的圖片作為網絡輸入，多層神經網絡由一系列卷積層和下采樣層的相互配合來學習原始圖像的特征，結合經典的BP算法來調整參數，完成權值更新，BP網絡更新權值公式為：

ω(t+1)＝ω(t)+ηδ(t)x(t) (1)

其中ω(t)為連接權值，x(t)為神經元的輸出，δ(t)表示該神經元的誤差項，η表示學習率，網絡中卷積層的網絡結構采用卷積的離散型，表示為：

其中M_β表示輸入特征的一個選擇，k表示卷積核，γ表示網絡的層數，b表示每個輸入特征映射添加的偏置，對于特定的輸出映射，輸入的映射特征可以應用不同的卷積核卷積得到；f表示卷積神經元所用的激活函數，在此每個塊使用的都是ReLu激活函數；

數據庫匹配：此處的數據庫是來自于訓練數據集所得到的每張圖片的特征向量，網絡訓練后每張圖片的特征信息會以1024維數據點的形式保存在標簽文件中，在測試數據集的時候新訓練的圖片特征信息會通過計算斷其馬氏距離來進行數據庫的匹配；

圖像認證：圖像特征提取模塊完成特征提取后，得到兩個輸出結果，一是圖像的特征向量，二是圖像分類后的標簽；圖像認證模塊根據待認證圖像已有標簽先將其歸入圖像庫對應類別中，再與該類別其它圖像進行馬氏距離計算，結果計為D_i，i＝1，2，3…，m，取出D_min；根據計算結果來判斷待認證圖像是否出自該數據庫或與該數據庫的圖像出自同一張源圖；判斷方法本文使用閾值法，閾值Th_m根據大量實驗結果設定；如果D_minTh_m，即該圖像和該類中所有圖像距離較大，不屬于該數據庫；反之，則該圖像屬于該數據庫，且與D_min對應的圖像為同一圖像或者來源于同一張圖像；

馬氏距離的定義：已知有M個樣本向量X₁～X_m，協方差矩陣記為S，均值記為向量μ，則其中樣本向量X_i到μ的馬氏距離D(X)表示為：

而其中向量X_i與X_j的馬氏距離定義為：

若協方差矩陣是單位矩陣，即各樣本向量之間獨立同分布，則公式就變成：

也就是歐式距離；若協方差矩陣是對角矩陣，公式就變成標準化歐氏距離；因此，馬氏距離和歐式距離相比，它是一種有效的計算兩個未知樣本集的相似度的方法；與歐氏距離不同的是它考慮到各種特性之間的聯系且不受綱量影響，測試圖像認證模塊準確率，通過對自制數據集Build-7每張圖片進行小范圍旋轉，仿射，灰度變換的操作，合成新的數據集來模擬篡改的圖像，而圖像認證準確率主要取決于前期圖像分類的結果以及閾值的選取，所以實驗目的是找到合適的閾值，閾值的初始值通過計算變換后圖像與原圖像的距離，統計分析后設定；

步驟3.網絡訓練，過程如下：

將網絡的訓練輪數定為10000次，一次訓練的樣本數量為100，每10次進行一輪預測，同時將全部數據的80％作為主要的訓練樣本T，另外10％作為訓練過程中的交叉驗證樣本V，剩下的10％作為預測分類器在真實世界中的表現的測試數據集K，訓練使用的算法為隨機梯度下降算法SGD，網絡的輸入為大小為229x229x3，在塊中的卷積層全部采用3x3小型卷積核進行參數削減，通過遷移了來自根據imageNet訓練的GoogleNet權重，并進行微調，使網絡從最優點開始訓練，重新訓練分類器，計算訓練集T的logloss損失函數值，根據反向傳播算法更新多層神經網絡的權值和偏差；

計算驗證集V的logloss損失函數值，判定模型是否收斂，如果收斂模型訓練結束否則進入下一批訓練集T上的數據進行訓練直到驗證集V上的logloss損失函數值趨向收斂；最后用測試集K驗證模型的精確度；

步驟4.將訓練好的模型對實際建筑物圖片進行標定。

2.如一種基于遷移學習的建筑物標定方法，其特征在于：步驟2所述的閾值的初始值為2.0。