[發明專利]一種基于全卷積網絡的鄰域顯著性參照的多尺寸航拍圖像定位方法

有效

• 申請號: 201811326593.5
• 申請日: 2018-11-08
• 公開（公告）號: CN109492580B
• 公開（公告）日: 2020-08-07
• 發明（設計）人: 王華鋒;徐嘉璐;潘海俠
• 申請（專利權）人: 北方工業大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06N3/04
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 安麗

1.一種基于全卷積網絡的鄰域顯著性參照的多尺寸航拍圖像定位方法，其特征在于，包括以下步驟：

步驟(1)：基于區域網格化的思想，采用飛行區域全部面積的地圖制備方法，將飛行區域劃分為大小相同的若干網格，每個網格代表一類區域，并采用數據增強的方法制作訓練集；

步驟(2)：構建融合顯著性特征的多通道全卷積網絡模型，稱為Multi-channelAlexNet-FCN，實現了一個多尺寸輸入的滑動窗口分類器；

步驟(3)：基于步驟(1)的訓練集，采用鄰域顯著性參照定位方法統計并篩選步驟(2)中多通道全卷積網絡模型的輸出，最終得到定位結果；所述鄰域顯著性參照定位方法包括四個部分：類別得票數統計方法、區域顯著性權重計算方法，預測概率鄰域顯著性參照加強方法和聯通區域分析方法；

上述步驟(2)中，所述的Multi-channel AlexNet-FCN是在AlexNet的基礎上進行的優化，具體實現為：首先將AlexNet轉換為全卷積形式的AlexNet-FCN，即保持AlexNet的前5個卷積層不變，將第6層全連接層轉換為一個卷積核為6×6大小的卷積層，將第7層和第8層全連接層分別轉換為一個卷積核為1×1大小的卷積層，并將第8層的輸出個數改為網格區域類別數N；然后在AlexNet-FCN的第一層前增加一個卷積核為1×1大小的卷積層，用來將輸入的4通道特征圖降維為3通道；Multi-channel AlexNet-FCN的輸入是混合顯著性特征的4通道特征圖，即3通道的彩色航拍圖像加其單通道顯著性特征圖，其中顯著性特征圖采用Image Signature的方式生成。

2.根據權利要求1所述的方法，其特征在于：所述步驟(1)中，基于區域網格化的思想，采用飛行區域全部面積的地圖制備方法，將飛行區域劃分為大小相同的若干網格，相鄰網格互不重疊且互相鄰接，每個網格代表一類區域。

3.根據權利要求1所述的方法，其特征在于：步驟(1)中，所述數據增強方法為采用圖像隨機旋轉、隨機顏色抖動、高斯模糊和椒鹽噪聲模擬無人機航拍圖像在不同方位、時間和天氣下的成像；其中所述圖像隨機旋轉采用一種填充周圍真實區域的旋轉方法，分別以每張圖像為中心，與每張圖像周圍網格圖像拼接成大圖，然后旋轉此大圖，并在旋轉后的大圖中央裁剪網格大小的圖像作為旋轉結果。

4.根據權利要求1所述的方法，其特征在于：步驟(3)中，所述類別得票數統計方法是處理Multi-channel AlexNet-FCN的輸出的第一步，對于全卷積網絡輸出的類別得分矩陣，將每個位置的N個通道中得分最高且大于閾值的類別作為一個預測分類結果；統計由類別得分矩陣得到的所有分類結果，得到若干個區域類別及判別個數，并用表示網格區域類別間的真實位置關系的投票矩陣來描述，投票矩陣中每個位置(i，j)的值等于(i，j)所代表的區域類別的預測個數，沒被預測的類別值為0；由此得到的投票矩陣是權利要求1步驟(3)中的類別得票數統計方法的結果。

5.根據權利要求1所述的方法，其特征在于：步驟(3)中，所述的區域顯著性權重計算方法如下：將恰好包含所有網格區域的航拍圖像混合顯著性特征輸入訓練好的Multi-channel AlexNet-FCN，然后按步驟(3)中的類別得票數統計方法得到投票矩陣vote map；已知vote map中每個位置(i，j)代表一個區域，對值為此區域判別個數V_i，j，計算區域顯著性權重w_i，j：

由此得到的所有網格區域顯著性權重矩陣，即區域顯著性權重計算方法的結果。