[發明專利]基于多任務EfficientDet的近紅外行人監測方法、系統、介質、設備

在審

• 申請號: 202011427301.4
• 申請日: 2020-12-09
• 公開（公告）號: CN112633086A
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 張建龍;何建輝;李橋;王斌;郭鑫宇;劉池帥;崔夢瑩;時國強;余鑫城;方光祖
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/20;G06K9/34;G06K9/62;G06N3/04;G06T7/11;G06T7/136
• 代理公司: 西安長和專利代理有限公司 61227
• 代理人: 肖志娟

本發明屬于近紅外圖像行人檢測技術領域，公開了一種基于多任務EfficientDet的近紅外行人監測方法、系統、介質、設備，利用近紅外圖像行人檢測數據集獲得不同場景下的行人活動區域分布；采用EfficientDet?D0作為基礎檢測網絡，利用EfficientDet?D0的骨干網絡中的P2、P3、P4和P5層構建語義分割分支對行人活動區域進行監測，通過空洞空間金字塔池化和卷積模塊注意力增強分割性能；基于上述多任務行人檢測模型，通過預測的行人活動區域對行人目標檢測結果進行后處理，獲得最終的行人檢測結果和行人活動區域結果。本發明具有較高的檢測性能，能夠減少結果中的假正樣本，對于夜間監控場景下的行人活動監測有著重要意義。

技術領域

本發明屬于近紅外圖像行人檢測技術領域，尤其涉及一種基于多任務EfficientDet的近紅外行人監測方法、系統、介質、設備。

背景技術

行人檢測的研究最早開始于二十世紀九十年代，從早期的基于傳統手工特征的方法，如基于HOG特征的方法、基于Harr小波特征的方法和基于edgelet特征的方法等，到現在的基于深度學習提取特征的方法，如利用ResNet模型、VGG模型和其他基于卷積神經網絡的模型來提取特征。隨著科技的發展，行人檢測技術得到了快速的發展。行人檢測作為應用廣泛的計算機視覺領域分支之一，在智能安防，自動駕駛和機器人等領域，都有著十分重要的作用。

近紅外圖像的行人檢測技術是一種利于近紅外圖像來獲得行人所在位置的技術，被廣泛用于智能安防和自動駕駛技術中。在夜間場景下，可見光成像無法獲得優質的成像效果，相較于傳統的可見光檢測，紅外行人檢測具有以下幾點優勢：(1)在光線微弱的情況下，依然有著較為出色的成像效果，可以從背景中較為容易獲取行人特征。(2)紅外成像可以減少背景顏色干擾。依靠這些優勢，近年來紅外行人檢測在許多領域大放異彩。在智能視頻監控，車載輔助駕駛和軍事預警等領域都有著不俗的表現。但是相較于可見光成像，紅外成像也存在一些劣勢，例如紋理、輪廓特征不如可見光成像豐富，顏色信息單一，這對識別檢測增加了不小的難度。但是瑕不掩瑜，紅外行人檢測在方方面面都有著非常重要的意義，也存在嚴峻的挑戰。因此針對目前存在的問題，設計高效，魯棒的紅外行人檢測算法有著十分深遠的意義。

近紅外圖像的行人目標檢測本質上是一種分類加回歸問題，即將邊框預測視為一個回歸任務，將行人和背景分離出來視作一個分類任務。在過去的十幾年中，國內外學者為研究各種行人檢測方法做出了巨大的貢獻，通過特征提取方式，可以這些研究方法可以分為兩類，由基于手工特征的方法漸漸發展為基于深度學習特征的方法。

早期的行人檢測方法主要通過手工設計特征提取算子的方式進行特征提取，其中最有代表性的是2005年Dalal提出的梯度方向直方圖(Histogram of OrientedGradients,HOG)特征，其作為行人檢測史上里程碑式的標志，為優良的特征提取奠定了基礎，同時結合支持向量機(Support Vector Machine，SVM)的學習方法，取得了較好的檢測效果。其他的基于手工特征的方法，還有基于Harr小波特征的方法和基于edgelet特征的方法等。

傳統的基于手工特征提取的紅外行人圖像檢測方法，其缺陷主要在于：(1)手工特征設計困難，并且無法保證人為構造特征的有效性(2)人為構造特征的層次較淺，難以應對復雜背景下的行人檢測，導致檢測性能不高。

隨著深度學習理論和技術的快速發展，有研究者嘗試使用深度學習來解決紅外圖像上的行人檢測問題。Xingguo Zhang等通過對R-CNN/Faster RCNN對可見光圖像的目標檢測性能分析，構建了一個用于可見光譜和紅外圖像的網絡模型，在使用和Faster RCNN相同的網絡模型的情況下，在VS數據集和NIR數據集上漏檢率遠遠低于RPN_BF和HOG+SVM的方法，王殿偉等針對YOLOv3檢測紅外視頻圖像行人時存在準確率低、漏檢率高的問題，提出一種改進的YOLOv3紅外視頻圖像行人檢測算法，結果表明，改進的YOLOv3算法在紅外行人檢測中的準確率高達90.63％，明顯優于Faster-RCNN和YOLOv3算法，且改進后的網絡能夠同時檢測到更多目標，降低了漏檢率。