[發明專利]基于改進的交叉熵損失函數的遙感圖像目標檢測方法

有效

• 申請號: 202011462894.8
• 申請日: 2020-12-10
• 公開（公告）號: CN112528862B
• 公開（公告）日: 2023-02-10
• 發明（設計）人: 李陽陽;史雯熙;何愛媛;焦李成;尚榮華;馬文萍;李玲玲
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06V20/10
• 分類號: G06V20/10;G06V10/25;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 陳宏社;李勇軍

1.一種基于改進的交叉熵損失函數的遙感圖像目標檢測方法，其特征在于，包括如下步驟：

(1)獲取訓練樣本集和測試樣本集：

從遙感圖像數據集中獲取包含C種目標類別共N幅帶標簽的遙感圖像，每幅遙感圖像至少包含一個目標，并對每個目標類別進行獨熱編碼，將真實的目標類別編碼為1，其他的目標類別編碼為0；并將N幅帶標簽的遙感圖像中的m幅圖像作為訓練樣本集，將其余帶標簽的遙感圖像作為測試樣本集，C≥2，N≥200，

(2)構建基于改進的交叉熵損失函數的遙感圖像目標檢測模型：

(2a)構建基于Faster R-CNN的遙感圖像目標檢測模型：

構建包括依次級聯的特征提取子網絡、區域生成子網絡、ROI Align池化層和分類定位子網絡；其中，特征提取子網絡包括多個級聯的特征提取模塊，每個特征提取模塊包含依次連接的多個卷積層-ReLU層和一個最大池化層；區域生成子網絡包括依次連接的卷積層-ReLU層、并行連接的第一分類子網絡和包含一個卷積層的第一定位模塊、proposal層；第一分類子網絡包括依次連接的卷積層、reshape層、softmax層、reshape層；分類定位子網絡包括依次連接的全連接層、并行連接的第二分類子網絡和包含一個全連接層的第二定位模塊，第二分類子網絡包括級聯的全連接層和softmax層；

(2b)定義改進的交叉熵損失函數FL：

FL＝FL_cls1(p_i)+L_reg1(d₁'_i,d_1i)+FL_cls2(p_c)+L_reg2(d'_2k,d_2k)

FL_cls1(p_i)＝-(1-p_i)^γlog(p_i),i∈I

FL_cls2(p_c)＝-(1-p_c)^γlog(p_c),c∈C

其中，FL_cls1(p_i)表示第一分類子網絡的改進的交叉熵損失函數，L_reg1(d’_1i,d_1i)表示第一定位模塊的損失函數，FL_cls2(p_c)表示第二分類子網絡的改進的交叉熵損失函數，L_reg2(d'_2k,d_2k)表示第二定位模塊的損失函數；p_i表示在FL_cls1(p_i)中由第一分類子網絡生成并篩選的第i個候選框A_1i中的內容為目標的概率，i∈I，I為A_1i的個數；p_c表示在FL_cls2(p_c)中由第二分類子網絡中第k個候選框A_2k中的目標為第c類的概率，c∈C，k∈K,K為非極大值抑制中設置的候選框個數，K≤I；(1-p_i)^γ和(1-p_c)^γ表示調制因子，γ表示指數參數；d’_1i表示A_1i的預測偏移量，d’_1i＝[d’_1ix,d’_1iy,d’_1iw,d’_1ih]，d’_1ix和d’_1iy分別表示A_1i的中心位置坐標在x軸和y軸的預測偏移量，d’_1iw和d’_1ih分別表示A_1i在寬和高上的預測偏移量；A_1i＝[A_1ix,A_1iy,A_1iw,A_1ih]，A_1ix和A_1iy分別表示A_1i的中心位置坐標在x軸和y軸的值，A_1iw和A_1ih分別表示A_1i的寬和高；d_1i表示A_1i的真實偏移量，d_1i＝[d_1ix,d_1iy,d_1iw,d_1ih]，d_1ix和d_1iy分別表示A_1i的中心位置坐標在x軸和y軸的真實偏移量，d_1iw和d_1ih分別表示A_1i在寬和高上的真實偏移量；d'_2k表示A_2k的預測偏移量，d'_2k＝[d'_2kx,d'_2ky,d'_2kw,d'_2kh]，d'_2kx和d'_2ky分別表示A_2k的中心位置坐標在x軸和y軸的預測偏移量，d'_2kw和d'_2kh分別表示A_2k在寬和高上的預測偏移量；A_2k＝[A_2kx,A_2ky,A_2kw,A_2kh]，A_2kx和A_2ky分別表示A_2k的中心位置坐標在x軸和y軸的值，A_2kw和A_2kh分別表示A_2k的寬和高；d_2k表示A_2k的真實偏移量；d_2k＝[d_2kx,d_2ky,d_2kw,d_2kh]，d_2kx和d_2ky分別表示A_2k中心位置坐標在x軸和y軸的真實偏移量，d_2kw和d_2kh分別表示A_2k在寬和高上的真實偏移量；smooth_L1(x)為平滑損失函數；

(3)對基于改進的交叉熵損失函數的遙感圖像目標檢測模型進行迭代訓練：

(3a)初始化基于Faster R-CNN的遙感圖像目標檢測模型的網絡參數θ，迭代次數為t，最大迭代次數為T，T＝20，并令t＝0；

(3b)將訓練樣本集作為遙感圖像目標檢測模型的輸入進行前向傳播，特征提取子網絡對每個訓練樣本進行特征提取，得到特征圖集合f＝{f₁,f₂,...,f_q,...,f_m}，其中f_q表示第q個訓練樣本對應的大小為a×b的特征圖，q∈m，每個特征圖中的每個像素點對應訓練樣本中的一個區域；

(3c)區域生成子網絡生成預測候選框坐標：

(3c1)以f_q中每個像素點為中心，生成該像素點的9種初始候選框，得到f_q的9×a×b個初始候選框，并計算每個初始候選框A_0i與每個真實框G_r之間的交集與并集的比值IoU，G_r表示第r個真實框，r∈R,R表示真實框的個數,R≤I，再根據IoU對所有初始候選框進行篩選，將所篩選的多個初始候選框作為候選框A_1i，篩選規則為：當IoU＞0.7時，初始候選框包含有目標，標記為1；當IoU＜0.3時，初始候選框不包含有目標，標記為0；舍棄0.3＜IoU＜0.7時的初始候選框；當真實框G_r沒有與之對應的初始候選框的IoU＞0.7時，將與真實框G_r的IoU最大的框也標記為1；

(3c2)區域生成子網絡中的卷積層-ReLU層對每個篩選后的候選框A_1i進行特征提取，得到特征圖集合f'＝{f₁',f₂',...,f_q',...,f_m'}；

(3c3)第一分類子網絡根據特征圖集合f'＝{f₁',f₂',...,f_q',...,f_m'}計算每個候選框A_1i含有目標的概率p_i；第一定位模塊根據特征圖集合f'＝{f₁',f₂',...,f_q',...,f_m'}計算候選框A_1i的預測偏移量d_1i和預測候選框坐標[A’_1ix,A’_1iy,A’_1iw,A’_1ih]；

(3c4)proposal層采用非極大值抑制方法，選取所有候選框中含有目標的概率得分p_i排名前K個候選框，其中每個候選框坐標為[A_2kx,A_2ky,A_2kw,A_2kh]，k∈K；

(3d)ROI Align池化層將前K個候選框的每個候選框的坐標值A_2kx,A_2ky,A_2kw,A_2kh分別縮小16倍，映射到特征圖f_q的對應位置得到K個感興趣區域；將每個感興趣區域劃分為相同大小的7×7的子圖；對每個子圖進行最大池化操作，得到統一尺度的K個感興趣區域；

(3e)分類定位子網絡的全連接層將統一尺度的K個感興趣區域提取特征，得到特征圖集合f”＝{f₁”,f₂”,...,f_q”,...,f_K”}；第二分類子網絡通過f”＝{f₁”,f₂”,...,f_q”,...,f_K”}計算每個候選框內目標的預測類別p_c，同時第二定位模塊通過f”＝{f₁”,f₂”,...,f_q”,...,f_K”}計算候選框的精確坐標[A_kx,A_ky,A_kw,A_kh]；

(3f)采用第一分類子網絡的改進的交叉熵損失函數FL_cls1(p_i)，通過p_i計算自己的損失值FL_cls1，采用第一定位模塊的損失函數L_reg1(d’_1i,d_1i)，通過d’_1i和d_1i計算自己的損失值L_reg1，采用第二分類子網絡的改進的交叉熵損失函數FL_cls2(p_c)，通過p_c計算自己的損失值FL_cls2，采用第二定位模塊的損失函數L_reg2(d'_2k,d_2k)，通過d'_2k和d_2k計算自己的損失值L_reg2，再采用反向傳播方法，通過FL_cls1、L_reg1、FL_cls2和L_reg2計算遙感圖像目標檢測模型參數梯度，然后采用梯度下降算法，通過遙感圖像目標檢測模型參數梯度對網絡參數θ進行更新；

(3g)判斷t＝T是否成立，若是，得到訓練好的基于改進的交叉熵損失函數的遙感圖像目標檢測模型，否則，令t＝t+1，并執行步驟(3b)；

(4)獲取遙感圖像目標的檢測結果：

將測試樣本集作為訓練好的基于改進的交叉熵損失函數的遙感圖像目標檢測模型的輸入進行檢測，得到每個目標的類別和邊界框四個頂點坐標。