[發明專利]一種基于特征融合深度神經網絡的多光譜行人檢測方法

在審

• 申請號: 202010573215.8
• 申請日: 2020-06-22
• 公開（公告）號: CN111898427A
• 公開（公告）日: 2020-11-06
• 發明（設計）人: 耿杰;周書倩;蔣雯;鄧鑫洋;孫祎蕓;田欣雨;楊藝云;宋麗娜
• 申請（專利權）人: 西北工業大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京科億知識產權代理事務所(普通合伙) 11350
• 代理人: 湯東鳳

1.一種基于特征融合深度神經網絡的多光譜行人檢測方法，其特征在于，包括以下步驟：

步驟一、分別提取多光譜圖像的特征信息：

步驟101、提取可見光圖像的特征信息，得到第一張量；

步驟102、提取紅外圖像的特征信息，得到第二張量；

步驟二、特征信息融合：對第一張量和第二張量進行融合得到第三張量；

步驟三、對第三張量進行卷積操作，得到第四張量；

步驟四、改進Faster R-CNN網絡作為行人檢測模型：

步驟401、采用focal loss損失函數改進Faster R-CNN目標檢測網絡中RCNN的交叉熵損失函數；

步驟402、采用KL loss損失函數改進Faster R-CNN目標檢測網絡的邊框回歸損失函數；

步驟五、將第四張量輸入到改進后的Faster R-CNN目標檢測網絡中，輸出行人檢測結果。

2.按照權利要求1所述的一種基于特征融合深度神經網絡的多光譜行人檢測方法，其特征在于：步驟四中的交叉熵損失函數表示為：

FL(p_t)＝-a_t(1-p_t)^γlog(p_t)，其中(1-p_t)^γ表示調制系數，y表示樣本標簽，p表示圖像特征屬于正樣本的概率，a_t表示權重系數，a表示圖像特征屬于正樣本的權重。

3.按照權利要求2所述的一種基于特征融合深度神經網絡的多光譜行人檢測方法，其特征在于：參數γ取值為2，參數a取值為0.25。

4.按照權利要求1所述的一種基于特征融合深度神經網絡的多光譜行人檢測方法，其特征在于：步驟五中的邊框回歸損失函數表示為：

L_reg＝D_KL(P_D(x)||P_θ(x))，其中P_D(x)表示通過狄拉克函數得到的樣本的標準分布，P_θ(x)表示通過高斯函數得到的樣本的最小化預測分布，D_KL表示KL散度。

5.按照權利要求4所述的一種基于特征融合深度神經網絡的多光譜行人檢測方法，其特征在于：邊框回歸損失函數的最小化預測分布其中σ表示標準差，x_e表示估計的邊界框位置。

6.按照權利要求4所述的一種基于特征融合深度神經網絡的多光譜行人檢測方法，其特征在于：邊框回歸損失函數的標準分布P_D(x)＝δ(x-x_g)，其中x_g表示真實邊界框位置。

7.按照權利要求1所述的一種基于特征融合深度神經網絡的多光譜行人檢測方法，其特征在于：步驟一和步驟二中的提取特征采用Faster R-CNN目標檢測網絡的基礎網絡模塊，基礎網絡模塊可以使用在圖片分類任務上預訓練好的卷積神經網絡VGG16或ResNet。

8.按照權利要求1所述的一種基于特征融合深度神經網絡的多光譜行人檢測方法，其特征在于：所述第一張量、第二張量和第三張量均為四階張量。

9.按照權利要求1所述的一種基于特征融合深度神經網絡的多光譜行人檢測方法，其特征在于：步驟三中對第三張量進行卷積操作采用m×m卷積核進行卷積，卷積個數為512。