[發明專利]提升檢測神經網絡目標檢測性能的方法及裝置

有效

• 申請號: 202010835666.4
• 申請日: 2020-08-18
• 公開（公告）號: CN112084886B
• 公開（公告）日: 2022-03-15
• 發明（設計）人: 韋虎;涂治國
• 申請（專利權）人: 眸芯科技（上海）有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/26;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 上海圖靈知識產權代理事務所(普通合伙) 31393
• 代理人: 謝微

本發明公開了提升檢測神經網絡目標檢測性能的方法及裝置，涉及數字圖像處理技術領域。所述方法包括步驟：根據目標檢測神經網絡算法的輸入尺寸和原始輸入圖像尺寸確定掃描用的多個矩形滑動窗的尺寸；每幀檢測時，將各矩形滑動窗中的滑動窗子圖按預設角度旋轉并進行縮放處理以生成滑動窗旋轉映射子圖，將原始輸入圖像進行縮放處理以生成全圖映射子圖；將全圖映射子圖和各滑動窗旋轉映射子圖組合拼接形成檢測輸入圖像；通過對應輸入尺度的目標檢測神經網絡算法對前述檢測輸入圖像進行檢測。本發明降低了監控邊緣計算設備上目標檢測算法的算力和帶寬需求，優化了目標檢測距離和檢測準確率。

技術領域

本發明涉及數字圖像處理技術領域，尤其涉及一種提升檢測神經網絡目標檢測性能的方法及裝置。

背景技術

隨著人工智能和深度學習技術的快速發展，在監控領域，基于卷積神經網絡(CNN)算法的目標檢測方法得到了廣泛應用，常用的目標檢測流程是從左到右、從上到下滑動窗口，利用分類識別目標。為了在不同觀察距離處檢測不同的目標類型，我們可以使用不同大小和寬高比的窗口(滑動窗)。目標檢測算法中，常用的比如RCNN、Fast RCNN和Faster RCNN等是基于候選區域和深度學習分類的方法，從RCNN到Fast RCNN，再到Faster RCNN，不斷刷新mAP(mean Average Precision)；而YOLO、SSD、DenseBox等方法是基于深度學習的回歸方法，將性能提高到一個非常高的幀率。在監控的邊緣計算應用場景，如IPC、NVR、DVR等設備上，當前設備的算力和帶寬都非常有限。為了滿足實時目標檢測的幀率要求，在這些設備上往往采用了算力要求較低的SSD、YOLO、MobileNet_SSD、MTCNN、DensNet等神經網絡算法。然而，即使是這些相對低復雜度的算法，在常用的視頻圖像分辨率下(如1080P)，其實時檢測算力和帶寬的要求仍然超過了當前大部分硬件的能力。

一方面，為了解決算力和帶寬不足的技術問題，現有技術中提供了以下幾種方法：第一種方法，也是最常見的方法，是對算法采用的神經網絡進行簡化(剪枝和低比特量化)。然而，由于剪枝和低比特量化后的神經網絡其目標檢測的準確率往往有顯著下降，漏檢誤檢率明顯上升，并且低比特量化還受限于硬件對量化比特(bit)的支持程度。第二種方法，是降低目標檢測的實際幀率，只檢測關鍵幀，在非關鍵幀則采用低復雜度的目標跟蹤算法來彌補檢測幀率不夠的問題。但是，這種方法碰到物體運動較快時，可能會碰到漏檢和跟蹤出錯的問題。第三種方法，是犧牲算法的檢測距離。比如刪去SSD等網絡的最后的小尺度特征卷積層，這樣算力和帶寬需求能減小，但會降低能檢出目標的最大尺度，使得貼近攝像頭的人臉或人形就無法檢出。第四種方法，是對輸入圖像進行縮小，采用小輸入尺寸的神經網絡算法。但這樣會導致輸入圖像的分辨率下降，限制了能檢出目標的最小尺度，使得遠處的人臉和人形等因為像素過少而無法檢出。

另一方面，為了檢測不同距離的目標，現有技術中常用的方法是：對原始輸入圖像進行多尺度縮放，生成多尺度金字塔圖像組，然后對不同尺度的輸入圖分別檢測。檢測近處大尺寸目標時，在縮小的圖像上檢測；檢測遠處目標時，在高分辨率的大尺寸圖像上檢測。然而，上述方法設計復雜，需要為每級圖像尺度設計訓練神經網絡，對設備的算力和帶寬提出了較高需求。

再一方面，為提升目標檢測率，現有的目標監測神經網絡所采用的訓練的目標通常會包括多種姿態或視角，以人作為檢測目標為例，比如包括站立和坐姿的人形、傾斜和轉動的人臉等。然而，在少數特殊的監控場合，會出現90度、180度或270度旋轉的非正常態目標，比如游泳池場景有橫立(趴著或躺著)的人體，健身房場景有倒立的人體(人臉)等，現有的目標檢測算法對上述目標的漏檢率較高。這是因為訓練的目標大都是正立著的，導致訓練出來的檢測算法對橫立(包括躺著和趴著)、倒立的目標的檢測性能不甚理想。為解決上述問題，現有技術中的常規做法是對監控輸入圖像做90度、180度和270度旋轉后再重新檢測，以此來提升這些目標的檢測率，但是采用上述方案后需要處理的數據量會比原來提高4倍以上，對設備的算力和帶寬提出了更高需求。