[發(fā)明專利]一種基于高斯交叉注意力網(wǎng)絡(luò)的跨模態(tài)行人檢測方法

在審

• 申請?zhí)枺?/td>: 202210039817.4
• 申請日: 2022-01-14
• 公開（公告）號: CN114359838A
• 公開（公告）日: 2022-04-15
• 發(fā)明（設(shè)計）人: 許廷發(fā);彭沛然;李佳男;穆峰
• 申請（專利權(quán)）人: 北京理工大學(xué)重慶創(chuàng)新中心;北京理工大學(xué)
• 主分類號: G06V20/52
• 分類號: G06V20/52;G06K9/62;G06N3/04;G06N3/08;G06V10/25;G06V10/774;G06V10/80;G06V10/82
• 代理公司: 成都九鼎天元知識產(chǎn)權(quán)代理有限公司 51214
• 代理人: 張杰

1.一種基于高斯交叉注意力網(wǎng)絡(luò)的跨模態(tài)行人檢測方法，其特征在于，包括如下步驟：

S1，獲取多源行人圖像；

S2，對步驟S1獲取的多源行人圖像進(jìn)行數(shù)據(jù)預(yù)處理，得到多源行人圖像訓(xùn)練集；

S3，對步驟S1獲取的多源行人圖像進(jìn)行人工標(biāo)注，得到真值行人位置邊界框坐標(biāo)；

S4，構(gòu)建基于高斯交叉注意力的檢測網(wǎng)絡(luò)；

S5，利用步驟S2得到的多源行人圖像訓(xùn)練集對步驟S4構(gòu)建的基于高斯交叉注意力的檢測網(wǎng)絡(luò)進(jìn)行訓(xùn)練，訓(xùn)練過程中采用損失函數(shù)計算基于高斯交叉注意力的檢測網(wǎng)絡(luò)輸出的預(yù)測行人位置邊界框坐標(biāo)與步驟S3得到的真值行人位置邊界框坐標(biāo)之間的差異，并通過反向傳播算法優(yōu)化檢測網(wǎng)絡(luò)的參數(shù)，從而得到訓(xùn)練好的基于高斯交叉注意力的檢測網(wǎng)絡(luò)；

S6，利用訓(xùn)練好的基于高斯交叉注意力的檢測網(wǎng)絡(luò)進(jìn)行行人檢測。

2.根據(jù)權(quán)利要求1所述的基于高斯交叉注意力網(wǎng)絡(luò)的跨模態(tài)行人檢測方法，其特征在于，所述多源行人圖像包括可見光行人圖像和紅外光行人圖像。

3.根據(jù)權(quán)利要求2所述的基于高斯交叉注意力網(wǎng)絡(luò)的跨模態(tài)行人檢測方法，其特征在于，步驟S2中對步驟S1獲取的多源行人圖像進(jìn)行數(shù)據(jù)預(yù)處理的方法為：

將多源行人圖像通過計算整體數(shù)據(jù)的均值和方差進(jìn)行歸一化處理，得到多源行人圖像訓(xùn)練集。

4.根據(jù)權(quán)利要求1所述的基于高斯交叉注意力網(wǎng)絡(luò)的跨模態(tài)行人檢測方法，其特征在于，步驟S4中構(gòu)建的基于高斯交叉注意力的檢測網(wǎng)絡(luò)包括：特征提取網(wǎng)絡(luò)、基于交叉注意力的特征融合網(wǎng)絡(luò)、以及預(yù)測網(wǎng)絡(luò)；

所述特征提取網(wǎng)絡(luò)為一系列卷積神經(jīng)網(wǎng)絡(luò)，用于從可見光行人圖像和紅外光行人圖像中分別提取可見光特征和紅外光特征；

所述基于交叉注意力的特征融合網(wǎng)絡(luò)包括自注意力機(jī)制模塊、可學(xué)習(xí)高斯注意力模塊和交叉注意力融合模塊；所述自注意力機(jī)制模塊通過一個1×1卷積層對紅外特征圖降維得到索引特征圖Q；所述可學(xué)習(xí)高斯注意力模塊通過一個1×1卷積層對可見光特征圖降維并通過一個可學(xué)習(xí)高斯注意力層對可見光背景特征進(jìn)行濾波得到鍵值特征圖K；通過參數(shù)運(yùn)算層計算索引特征圖Q和鍵值特征圖K的相似度并通過Softmax函數(shù)得到包含顯著特征權(quán)重分布的注意力熱圖；所述交叉注意力融合模塊使用一個1×1卷積層對可見光特征圖降維得到內(nèi)容特征圖V，并將內(nèi)容特征圖V與注意力熱圖進(jìn)行聚合后再與可見光特征圖相加得到融合特征圖；

所述預(yù)測網(wǎng)絡(luò)包括分別由多個卷積層、全連接層和softmax層組成的目標(biāo)分類分支和邊界框回歸分支，用于根據(jù)融合特征圖得到預(yù)測行人位置邊界框坐標(biāo)。

5.根據(jù)權(quán)利要求1所述的基于高斯交叉注意力網(wǎng)絡(luò)的跨模態(tài)行人檢測方法，其特征在于，所述損失函數(shù)為smooth L₁損失函數(shù)。

6.根據(jù)權(quán)利要求1所述的基于高斯交叉注意力網(wǎng)絡(luò)的跨模態(tài)行人檢測方法，其特征在于，步驟S5中基于高斯交叉注意力的檢測網(wǎng)絡(luò)進(jìn)行訓(xùn)練時采用的優(yōu)化算法為隨機(jī)梯度下降優(yōu)化算法。