[發明專利]基于多源異構數據認知融合的目標檢測方法

有效

• 申請號: 202011355669.4
• 申請日: 2020-11-26
• 公開（公告）號: CN112465880B
• 公開（公告）日: 2023-03-10
• 發明（設計）人: 楊淑媛;常志豪;高全偉;高欣怡;馮志璽;王敏;焦李成;徐光穎;郝曉陽;孟會曉;王俊驍
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06T7/30
• 分類號: G06T7/30;G06T7/11;G06T5/50;G06V10/80;G06V10/774
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 陳宏社;楊春崗

1.一種基于多源異構數據認知融合的目標檢測方法，其特征在于，包括如下步驟：

(1)數據預處理：

(1a)獲取包含有多種目標的相同場景的s幅光學遙感圖像A＝{A_i|1≤i≤s}和s幅合成孔徑雷達SAR圖像B＝{B_i|1≤i≤s}，并對每幅光學遙感圖像A_i和每幅SAR圖像B_i分別進行配準，得到配準后的光學遙感圖像集A'＝{A’_i|1≤i≤s}和B'＝{B’_i|1≤i≤s}，其中，s≥5，A_i表示第i幅光學遙感圖像，B_i表示A_i對應的SAR圖像，A’_i表示A_i的配準圖像，B’_i表示B_i的配準圖像；

(1b)對A’_i和B’_i分別進行均等裁剪，并從裁剪結果中篩選出I_S幅大小為a×b且每幅圖像包含至少一個目標的光學遙感子圖像A_i”和SAR子圖像B_i”，組成包括M個光學遙感子圖像的子圖像集A”和包括M個SAR子圖像的子圖像集B”，其中，I_S≥200，a≥500,b≥500，M＝s×I_s；

(1c)對光學遙感子圖像集A”中每幅光學遙感子圖像和SAR子圖像的子圖像集B”中每幅SAR子圖像分別進行目標邊框標記，并將每幅光學遙感子圖像的目標邊框標簽與其對應的SAR子圖像的目標邊框標簽組合成標簽文件，得到M個標簽文件；

(2)獲取訓練樣本集和測試樣本集：

對每幅光學遙感子圖像A”_ij、每幅SAR子圖像B”_ij和標簽文件C”_ij進行組合，得到M個樣本對，并隨機選取其中半數以上的樣本對組成訓練樣本集，將剩下的樣本對組成測試樣本集；

(3)構建基于多源異構數據認知融合的目標檢測模型H：

構建包括輸入級融合網絡、特征級融合網絡和決策級融合網絡的目標檢測模型，其中：

輸入級融合網絡包括順次級聯的輸入融合網絡、權值為的第一特征提取網絡、權值為的第一特征增強網絡和權值為的第一分類回歸網絡；

特征級融合網絡包括順次級聯的權值為的第二特征提取網絡、特征融合網絡、權值為的第二特征增強網絡和權值為的第二分類回歸網絡；

決策級融合網絡包括順次級聯的權值為的第三特征提取網絡、權值為的第三特征增強網絡、權值為的第三分類回歸網絡和決策融合層；

第一特征提取網絡、第二特征提取網絡和第三特征提取網絡的結構相同，均包含多個卷積層和多個最大池化層；第一特征增強網絡、第二特征增強網絡和第三特征增強網絡的結構相同，均包含多個卷積層；第一分類回歸網絡、第二分類回歸網絡和第三分類回歸網絡的結構相同，均包含多個卷積層；輸入融合網絡包含多個卷積層；特征融合網絡包含多個卷積層；

(4)對基于多源異構數據認知融合的目標檢測模型H進行迭代訓練：

(4a)初始化迭代次數為q_S，最大迭代次數為Q_S，Q_S≥50000，并令q_S＝0；

(4b)無回放的隨機選取訓練樣本集中的t個訓練樣本對作為基于多源異構數據認知融合的目標檢測模型H的輸入，t≥1，輸入級融合網絡、特征級融合網絡和決策級融合網絡分別對一t個訓練樣本對進行處理：

輸入級融合網絡中的輸入融合網絡對每個訓練樣本對中的光學遙感子圖像和SAR子圖像進行融合，第一特征提取網絡對融合的圖像進行特征提取，第一特征增強網絡對提取的特征圖進行特征增強，第一分類回歸網絡對特征增強后的圖像進行目標分類和邊框坐標回歸，得到t個訓練樣本對中目標的類別和邊框坐標；

特征級融合網絡中的第二特征提取網絡對每個訓練樣本對中的光學遙感子圖像和SAR子圖像分別進行特征提取，特征融合網絡對提取的光學遙感特征圖和SAR特征圖進行融合，第二特征增強網絡對融合后的特征圖進行特征增強，第二分類回歸網絡對特征增強的圖像進行目標分類和邊框坐標回歸，得到t個訓練樣本對中目標的類別和邊框坐標；

決策級融合網絡中的第三特征提取網絡對每個訓練樣本對中的光學遙感子圖像和SAR子圖像分別進行特征提取,第三特征增強網絡對提取的光學遙感特征圖和SAR特征圖分別進行特征增強，第三分類回歸網絡對增強后的光學遙感特征圖和SAR特征圖均進行目標分類和邊框坐標回歸，得到每個樣本中的光學遙感子圖像中目標的類別和邊框坐標和SAR子圖像中目標的類別和邊框坐標，決策融合層對光學遙感子圖像中目標的類別和邊框坐標和SAR子圖像中目標的類別和邊框坐標進行融合，采用NMS算法對融合后的目標類別和邊框坐標進行合并，得到t個訓練樣本對中目標的類別和邊框坐標；

(4c)采用Focal_Loss損失函數，通過訓練樣本對中的標簽文件目標的類別和邊框坐標以及輸入級融合網絡得到的t個訓練樣本對中目標的類別和邊框坐標計算輸入級融合網絡損失值同時通過訓練樣本對中的標簽文件目標的類別和邊框坐標以及特征級融合網絡得到的t個訓練樣本對中目標的類別和邊框坐標計算融合網絡損失值同時通過訓練樣本對中的標簽文件目標的類別和邊框坐標以及決策級融合網絡得到的t個訓練樣本對中目標的類別和邊框坐標計算決策級融合網絡損失值

(4d)采用隨機梯度下降法，并通過損失值分別對第一特征提取網絡權值第一特征增強網絡權值和第一分類回歸網絡權值進行更新，通過損失值分別對第二特征提取網絡權值第二特征增強網絡權值和第二分類回歸網絡權值進行更新，通過損失值分別對第三特征提取網絡權值第三特征增強網絡權值和第三分類回歸網絡權值進行更新；

(4e)判斷q_S＝Q_S是否成立，若是，得到訓練好的基于多源異構數據認知融合的目標檢測模型H'，否則，令q_S＝q_S+1，并執行步驟(4b)；

(5)獲取目標檢測結果：

將測試樣本集作為訓練好的基于多源異構數據認知融合的目標檢測模型H'的輸入進行目標檢測,得到測試樣本集包含的所有目標的類別和邊框坐標。