[發明專利]改進基于非極大抑制的目標物體檢測方法

有效

• 申請號: 202110993365.9
• 申請日: 2021-08-27
• 公開（公告）號: CN113723274B
• 公開（公告）日: 2023-09-22
• 發明（設計）人: 張湘煜;何盼;婁鑫
• 申請（專利權）人: 上海科技大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V20/52;G06V10/764
• 代理公司: 上海申匯專利代理有限公司 31001
• 代理人: 翁若瑩;徐穎

本發明涉及一種改進基于非極大抑制的目標物體檢測方法，在現有的NMS算法進行目標物體檢測基礎上，利用金字塔的不同層的空間相鄰候選框之間的耦合關系，實時動態聚類候選框；跟蹤簇內的候選框數量，并根據候選框的數量調整檢測分數閾值。本發明所提出的方法，不需要等待檢測結束，而是利用空間信息，在檢測的同時對候選框進行抑制；此方法不僅減少了數據移動和存儲、縮短了處理時間，而且所需處理時間統一。緩解目標物體檢測準確率與處理速度、資源、以及功耗之間的矛盾。

技術領域

本發明涉及一種視頻圖像檢測技術，特別涉及一種改進基于非極大抑制的目標物體檢測方法。

背景技術

物體檢測在視頻分析和圖像理解應用中起著舉足輕重的作用，例如實時監控攝像頭、智能牲畜養殖和高級駕駛員輔助系統(ADAS)[文獻1]。對于便攜式系統，實時處理、低功耗、以及較少的資源消耗是必不可少的。非極大值抑制(Non-Maximal?Suppression,NMS)[文獻2]是大多數物體檢測器的關鍵步驟。

標準的NMS是貪婪的、硬件不友好的。其依賴于迭代計算，因此需要很長的計算時間。研究人員發現，在人臉檢測器中，NMS占據近22％的延遲[文獻3]。此外，常見的NMS基于手動設計和固定的閾值，準確性有待提高。有研究者提出，以犧牲延遲和資源為代價來提高準確性[文獻4]。例如，基于親和傳播聚類算法的NMS，用CPU處理250個候選框，耗時1000ms。一個基于方向梯度直方圖(HOG)的12層物體檢測器，在處理1080p(1920×1080)圖像的時候，最壞情況下會生成82,722個候選框。使用上述NMS，HOG檢測器每秒只能處理0.003幀(FPS)，遠遠達不到實時處理的要求。NMS的GPU實現基于多線程計算，犧牲了功耗和資源來提高速度。基于專用硬件架構的平臺，例如FPGA和芯片，能夠以低延遲和高能效實現NMS。

當前的NMS的FPGA實現，要么基于FPGA上的嵌入式CPU，要么基于狀態機。狀態機是一種單指令多數據架構(SIMD)[文獻3][文獻5]。這兩種架構都依次處理候選框，依靠高工作頻率來滿足速度要求。而且，現有的方法都是等檢測結束之后，才開始抑制。因此其性能會隨著候選框數量的增加而下降。當候選框的數量增加10倍時，現有的方法的關鍵路徑延遲和功率均增加10倍[文獻3]。此外，這些FPGA檢測器在檢測過程中，需要緩存大量的中間結果，甚至需要外部存儲器的支持。在抑制時需要重新加載這些中間結果。數據的移動和外部存儲會增加額外的功耗。

[文獻1]F.Porikli,F.Bremond,S.L.Dockstader,“Video?surveillance:past,present,and?now?the?future[DSP?Forum],”IEEE?Signal?Processing?Magazine,vol.30,no.9,pp.190-198,2013。

[文獻2]A.Rosenfeld?and?M.Thurston.Edge?and?curve?detection?for?visualscene?analysis.IEEE?Transactions?on?Computers,100(5):562–569,1971。

[文獻3]M.Shi,P.Ouyang,S.Yin,L.Liu,and?S.Wei,“A?Fast?and?Power-Efficient?Hardware?Architecture?for?Non-Maximum?Suppression,”IEEETransactions?on?Circuits?and?Systems?II:Express?Briefs,vol.66,no.11,pp.1870–1874,Nov.2019。

[文獻4]Y.He,X.Zhang,M.Savvides,and?K.Kitani,“Softer-nms:Rethinkingbounding?box?regression?for?accurate?object?detection,”arXiv?preprint?arXiv:1809.08545,2018。