[發明專利]一種基于注意力機制的多尺度特征融合行人檢測方法

在審

• 申請號: 202110941462.3
• 申請日: 2021-08-17
• 公開（公告）號: CN113673593A
• 公開（公告）日: 2021-11-19
• 發明（設計）人: 曲海成;夏明豪
• 申請（專利權）人: 遼寧工程技術大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/46;G06K9/00
• 代理公司: 北京華夏正合知識產權代理事務所(普通合伙) 11017
• 代理人: 韓登營;張麗萍

本發明公開了一種基于注意力機制的多尺度特征融合行人檢測方法，包括：輸入訓練集和驗證集，提取行人特征并生成特征圖；輸入網絡模型，訓練模型；是否達到指定批次，若是則輸出模型并驗證模型。本發明的基于注意力機制的多尺度特征融合行人檢測方法將FCOS算法應用到行人檢測中，在其基礎上采用了密集金字塔結構，將頂層特征與底層特征進行融合，這樣能夠使融合后的特征具有底層的空間信息和頂層特征的細節信息，能夠更好的識別出行人目標。其次，在融合后的特征融入空間和通道注意力，使其能夠更精準的定位到行人目標。

技術領域

本發明屬于行人檢測的技術領域，尤其涉及一種基于注意力機制的多尺度特征融合行人檢測方法。

背景技術

二十一世紀中國的科學發展力突飛猛進，已經為人們的日常生活提供了相當大的便捷。越來越多繁瑣的工作都可以通過計算機完成，而不是每一項任務、工作都需要人們著手、親歷親為；在過去，每項工作都是以人力為基礎，比如農耕，這樣既浪費時間、財力又會消耗大量的人力、物力。然而如今，因為有了計算機大數據的存在，在得到有質量結果的同時，同樣又不占用公共資源，節省了大量的時間。計算機視覺就是大勢所趨研究者急需研究的課題領域，它應用了模式識別、圖像處理和機器學習等多個學科。

由于一階全卷積網絡(FCOS)實現了無提議、無錨框的思想，并且提出了中心度的思想，其可以降低遠離中心的邊界框的權重，從而抑制低質量的邊界框，提高檢測質量。因此成為了進行行人檢測的一種常用模型。隨著行人檢測技術的飛速發展，為了能夠更好的檢測行人、更好的學習模型的性能，將密集金字塔結構和注意力機制加入現有的各種網絡結構中顯示出了極大的改進潛力。

CNN的作用是提取圖像的在各個分辨率下的特征信息，低層的特征具有豐富的空間信息，適合檢測小目標。相反頂層特征具有豐富的語義信息，適合檢測大目標。因此本發明在CNN階段將特征金字塔改為密集連接，這樣使得融合后的特征具有更強的語義信息和空間信息。另外有效的注意力機制是提升模型對行人檢測精度的關鍵。現有的單一注意機制應用在模型上有時候不會起到很好的作用，這就需要使用CBAM模塊，這是一個簡單而有效的前饋卷積神經網絡注意力模塊，它可以無縫集成到任何CNN架構中。因此將空間和通道注意力應用于深度神經網絡的技術，對FCOS模型進行性能上的優化，是一項很有意義的研究。

袁培江等2019年提出一種小尺度密集行人的檢測方法，通過設置不同比例的長寬比，使其與行人的真實框計算交并比，小于0.3標記為負樣本，大于0.7標記為正樣本。從網絡模型的不同階段獲取不同語義的特征圖，取其中的3個階段的特征圖，將不同語義的特征圖匹配不同尺度的目標，高語義特征圖匹配大尺度目標，中語義特征圖匹配中尺度目標，低語義特征圖匹配小尺度目標，同時在不同語義特征圖間采用級聯形式，低語義特征圖往上疊加在高一級語義的特征圖上，最后經過幾個卷積層輸出掩膜預測特征圖，與高斯掩膜標注產生損失，從而提高了小尺度目標的檢測性能。

白夏穎等人2020年提出一種基于注意力機制的行人檢測模型，該發明使用YOLOv3的主體框架，融入了用于殘差連接的通道注意力和空間注意力機制。使用YOLOv3的結構用能夠提取到更豐富特征的特征。該發明根據YOLOv3算法的實時檢測性減少端到端行人目標檢測算法中漏檢和誤檢的情況，通過對于所提取出的特征向量進行充分的利用和修正，同時修改殘差連接結構中的單一連接方式，使整個網絡能更好地篩選出有利于后續檢測的特征向量。

現階段，傳統的行人檢測方法已慢慢被深度學習方法所取代。傳統的行人檢測方法使用人工設計的特征，其很難適應人體形態的變化。研究人員發現基于深度學習表示的特征具有較強層次的表達能力和良好的魯棒性，能夠較好地解決一些視覺問題。