[發(fā)明專利]一種基于高斯交叉注意力網(wǎng)絡(luò)的跨模態(tài)行人檢測方法

在審

• 申請?zhí)枺?/td>: 202210039817.4
• 申請日: 2022-01-14
• 公開（公告）號: CN114359838A
• 公開（公告）日: 2022-04-15
• 發(fā)明（設(shè)計）人: 許廷發(fā);彭沛然;李佳男;穆峰
• 申請（專利權(quán)）人: 北京理工大學(xué)重慶創(chuàng)新中心;北京理工大學(xué)
• 主分類號: G06V20/52
• 分類號: G06V20/52;G06K9/62;G06N3/04;G06N3/08;G06V10/25;G06V10/774;G06V10/80;G06V10/82
• 代理公司: 成都九鼎天元知識產(chǎn)權(quán)代理有限公司 51214
• 代理人: 張杰

本發(fā)明提供一種基于高斯交叉注意力網(wǎng)絡(luò)的跨模態(tài)行人檢測方法，包括：S1，獲取多源行人圖像；S2，對多源行人圖像進行數(shù)據(jù)預(yù)處理得到多源行人圖像訓(xùn)練集；S3，對多源行人圖像進行人工標注得到真值行人位置邊界框坐標；S4，構(gòu)建基于高斯交叉注意力的檢測網(wǎng)絡(luò)；S5，利用多源行人圖像訓(xùn)練集訓(xùn)練基于高斯交叉注意力的檢測網(wǎng)絡(luò)，得到訓(xùn)練好的基于高斯交叉注意力的檢測網(wǎng)絡(luò)；S6，利用訓(xùn)練好的基于高斯交叉注意力的檢測網(wǎng)絡(luò)進行行人檢測。本發(fā)明采用基于高斯交叉注意力的檢測網(wǎng)絡(luò)提取多源行人圖像的深層顯著特征并融合，直接獲得表示行人位置的邊界框坐標，在網(wǎng)絡(luò)訓(xùn)練和實用中更為便捷靈活，節(jié)省計算資源和降低時間消耗。

技術(shù)領(lǐng)域

本發(fā)明涉及行人檢測技術(shù)領(lǐng)域，具體而言，涉及一種基于高斯交叉注意力網(wǎng)絡(luò)的跨模態(tài)行人檢測方法。

背景技術(shù)

行人檢測是一個重要的研究領(lǐng)域，廣泛應(yīng)用于無人駕駛、監(jiān)控和機器人領(lǐng)域。近年來，依靠檢測算法的發(fā)展，安全保障得到了提高。行人檢測任務(wù)在檢測可見圖像和視頻方面取得了很好的效果。然而，在可視圖像中仍然存在一些挑戰(zhàn)，如低分辨率、遮擋、功率對比度和惡劣的光照條件限制了行人檢測的準確性。

熱成像消除了可見光圖像在光線不足、天氣惡劣等條件下的局限性。熱成像相機是基于紅外輻射探測物體，而人與周圍環(huán)境之間存在顯著的熱差異，因此可以很容易地識別出行人。然而，在白天，由于背景信息與熱圖像中行人的溫度相似，很難區(qū)分人與干擾物體。由此得出熱圖像更適合夜間，而可見光圖像更適合白天進行行人檢測的結(jié)論。

現(xiàn)有的多源行人圖像檢測方法中，基于CNN的融合策略通過學(xué)習(xí)局部特征增強了圖像中行人特征的表達，但它們?nèi)狈膱D像中提取遠程依賴的能力，這會導(dǎo)致一些可能對行人檢測有用的基本全局上下文的丟失。因此，將局部特征與遠程依賴密度相結(jié)合，可以增加全局上下文信息，從而有助于增強多源圖像的顯著特征融合，從而進一步提高檢測的準確性。端到端神經(jīng)網(wǎng)絡(luò)能將特征提取和視覺任務(wù)相融合，在網(wǎng)絡(luò)訓(xùn)練和實用中更為便捷靈活，將其應(yīng)用到多源行人圖像檢測中具有重要意義和價值。

發(fā)明內(nèi)容

本發(fā)明旨在提供一種基于高斯交叉注意力網(wǎng)絡(luò)的跨模態(tài)行人檢測方法，以解決上述現(xiàn)有的多源行人圖像檢測方法存在的問題。

本發(fā)明提供的一種基于高斯交叉注意力網(wǎng)絡(luò)的跨模態(tài)行人檢測方法，包括如下步驟：

S1，獲取多源行人圖像；

S2，對步驟S1獲取的多源行人圖像進行數(shù)據(jù)預(yù)處理，得到多源行人圖像訓(xùn)練集；

S3，對步驟S1獲取的多源行人圖像進行人工標注，得到真值行人位置邊界框坐標；

S4，構(gòu)建基于高斯交叉注意力的檢測網(wǎng)絡(luò)；

S5，利用步驟S2得到的多源行人圖像訓(xùn)練集對步驟S4構(gòu)建的基于高斯交叉注意力的檢測網(wǎng)絡(luò)進行訓(xùn)練，訓(xùn)練過程中采用損失函數(shù)計算基于高斯交叉注意力的檢測網(wǎng)絡(luò)輸出的預(yù)測行人位置邊界框坐標與步驟S3得到的真值行人位置邊界框坐標之間的差異，并通過反向傳播算法優(yōu)化檢測網(wǎng)絡(luò)的參數(shù)，從而得到訓(xùn)練好的基于高斯交叉注意力的檢測網(wǎng)絡(luò)；

S6，利用訓(xùn)練好的基于高斯交叉注意力的檢測網(wǎng)絡(luò)進行行人檢測。

在一些實施例中，所述多源行人圖像包括可見光行人圖像和紅外光行人圖像。

在一些實施例中，步驟S2中對步驟S1獲取的多源行人圖像進行數(shù)據(jù)預(yù)處理的方法為：

將多源行人圖像通過計算整體數(shù)據(jù)的均值和方差進行歸一化處理，得到多源行人圖像訓(xùn)練集。

在一些實施例中，步驟S4中構(gòu)建的基于高斯交叉注意力的檢測網(wǎng)絡(luò)包括：特征提取網(wǎng)絡(luò)、基于交叉注意力的特征融合網(wǎng)絡(luò)、以及預(yù)測網(wǎng)絡(luò)；

所述特征提取網(wǎng)絡(luò)為一系列卷積神經(jīng)網(wǎng)絡(luò)，用于從可見光行人圖像和紅外光行人圖像中分別提取可見光特征和紅外光特征；