[發明專利]基于語義增強的多尺度特征金字塔融合的行人檢測方法

在審

• 申請號: 202011281029.3
• 申請日: 2020-11-16
• 公開（公告）號: CN112446308A
• 公開（公告）日: 2021-03-05
• 發明（設計）人: 王君;朱超;殷緒成
• 申請（專利權）人: 北京科技大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京金智普華知識產權代理有限公司 11401
• 代理人: 皋吉甫

1.一種基于語義增強的多尺度特征金字塔融合的行人檢測方法，其特征在于，所述行人檢測方法先采用梯形路徑增強模型提取圖片的多尺度特征，再通過多尺度特征融合模型進行特征融合；

所述梯形路徑增強模型為在現有特征金字塔的基礎上加入更高層次的特征層來提取更高層次的特征信息；

所述多尺度特征融合模型具體為通過相鄰特征層的特征數據相加再級聯的方式進行特征融合，以增強不同尺度下的特征信息，同時減少通道數。

2.根據權利要求1所述的基于語義增強的多尺度特征金字塔融合的行人檢測方法，其特征在于，所述梯形路徑增強模型以ResNet-50為骨干網絡，構建自上而下的路徑和自下而上的路徑，兩個路徑之間通過水平連接增強每個尺度的特征；自上而下的路徑中的特征層表示為{P3，P4，P5，P6}，自下而上的路徑中的特征層表示為{N3，N4，N5，N6，N7}。

3.根據權利要求2所述的基于語義增強的多尺度特征金字塔融合的行人檢測方法，其特征在于，P6層特征數據是由P5層特征數據經過步長為2的3×3卷積操作獲得。

4.根據權利要求2所述的基于語義增強的多尺度特征金字塔融合的行人檢測方法，其特征在于，N6層特征數據是由N5層特征數據經過步長為2的3×3卷積操作獲得。

5.根據權利要求2所述的基于語義增強的多尺度特征金字塔融合的行人檢測方法，其特征在于，N7層特征數據是通過步長為2的最大池化操作獲得。

6.根據權利要求1所述的基于語義增強的多尺度特征金字塔融合的行人檢測方法，其特征在于，所述多尺度特征融合模型的工作過程包括：

S1、相鄰的待相加的兩個特征層中，上層特征層上采樣得到下層特征層的大小，再將兩個特征層相加得到對應的特征圖；特征層為單數時，最下層特征層不進行相加操作；

S2、采用最近鄰插值增加所有特征圖的尺度；采用反卷積增加未進行相加操作的特征層的尺度；

S3、對經過尺度增加的特征圖和/或特征層進行歸一化操作，并使之沿著通道維度級聯在一起，輸出到檢測頭進行分類回歸。

7.根據權利要求6所述的基于語義增強的多尺度特征金字塔融合的行人檢測方法，其特征在于，步驟S2中尺度增加的標準為使級聯獲得的特征圖的大小為H/r×W/r；其中，r是下采樣因子，H和W為原始輸入圖像的高和寬。

8.根據權利要求7所述的基于語義增強的多尺度特征金字塔融合的行人檢測方法，其特征在于，下采樣因子r取值為4。

9.根據權利要求2所述的基于語義增強的多尺度特征金字塔融合的行人檢測方法，其特征在于，所述梯形路徑增強模型以ResNet-50為骨干網絡提取stage3到stage5的特征圖，再分別將stage3到stage5的特征圖下采樣到尺度8、16和32；之后經過1×1卷積將通道數統一為256；然后再構建自上而下的路徑和自下而上的路徑。

10.根據權利要求1所述的基于語義增強的多尺度特征金字塔融合的行人檢測方法，其特征在于，所述行人檢測方法的實際操作工程包括：將ResNet-50作為骨干，并在ImageNet上進行預訓練，同時使用Adam優化方法進行優化；

所述行人檢測方法適用于Caltech數據集和CityPersons數據集，使用若干GTX 1080TiGPU進行訓練；訓練前先設置學習率、batchsize以及迭代次數。