[發明專利]一種基于單階段的行為識別方法

在審

• 申請號: 201911014322.0
• 申請日: 2019-10-23
• 公開（公告）號: CN110852330A
• 公開（公告）日: 2020-02-28
• 發明（設計）人: 陳景明;金杰;李燊;郭如意
• 申請（專利權）人: 天津大學
• 主分類號: G06K9/46
• 分類號: G06K9/46;G06K9/62
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 劉子文

本發明公開一種基于單階段的行為識別方法，基于特征金字塔網絡結構，包括左側自底向上結構、右側的自頂向下結構、位于中間的橫向連接層及后端的預測網絡，左側自底向上結構包括卷積層一、卷積層二、卷積層三、RFB模塊和RFB?s模塊，右側的自頂向下結構包括卷積層四、卷積層五和卷積層六；其中自底向上結構用以不斷提取特征信息，而右側的自頂向下結構則通過下采樣即反卷積不斷的將頂層的特征圖放大，橫向連接層則是將右側的頂層特征與左側的底層特征進行結合，使得特征更具有表達能力，預測網絡是用于實現對分類和邊界框的預測。

技術領域

本發明涉及計算機視覺，目標檢測，圖像處理領域，特別是涉及一種基于單階段的行為識別方法。

背景技術

隨著深度學習的不斷發展，在自然語言處理以及目標檢測和分類方面也取得了不錯的進步。其中目標檢測主要分為兩分支：一分支是基于區域提議的目標檢測，如：RCNN系列(RCNN、Fast RCNN以及RFCN等)，這些目標檢測方法主要分為兩個階段。在第一階段，通過算法或區域提議網絡生成高質量的候選框，然后在第二階段則通過子網絡對這些候選框進行分類和邊框回歸，因此由于這類檢測方法分兩階段進行所以在檢測速度方面存在缺陷，達不到實時的效果；另一分支則是單階段的目標檢測方法(如YOLO、SSD以及DSOD等)，因為沒有單獨產生候選框的階段所以相對于前一種方法來說準確率相對較差，但其檢測速度十分優秀可以達到實時的檢測。本方法就是對基于單階段的目標檢測方法SSD的改進。

目前基于單階段的目標檢測方法的改進主要是通過結合不同特征圖的信息或者采用更復雜的網絡結構來獲得具有高語義的特征信息，例如：在最初的單階段算法YOLO中直接在最后的卷積層上進行邊界框回歸的目標檢測，SSD方法則是在YOLO方法的基礎上提出來的，該方法是結合最后幾個卷積層進行預測，因而有更高的準確率。DSSD方法則是在SSD的改進，通過采用更復雜的網絡結構ResNet進行特征提取，并結合反卷積層獲得更多的語義信息。在Single-Shot Bidirectional Pyramid Networks的方法中則采用了雙向的特征金字塔網絡結構，結合了底層和高層之間的特征信息。

雖然目前有眾多針對SSD方法的改進，但是大多數的方法都是在犧牲檢測速度的基礎上提高其檢測精度，例如：1、采用更復雜的網絡模型進行特征提取的方法。在DSSD方法中，因其用于特征提取的網絡結構ResNet相對復雜，引入了較多的參數所以在檢測幀率上會大幅度下降；2、通過引入新的模塊來解決單階段目標檢測的正負樣本失衡問題。在Single-Shot Bidirectional Pyramid Networks方法中便通過添加一個新的級聯的錨優化模塊來提高方法的定位準確率，同樣在Single-shot Refinement Neural Network方法中也引入了類似的錨優化模塊來去除一些負樣本。相比于通過引入新的損失函數來緩解正負樣本嚴重失衡問題，添加新模塊的這種方法增加了訓練參數，從而也會使檢測速率下降。

本發明中涉及的相關術語解釋如下：

DSOD:(Deeply Supervised Object Detectors)強監督目標檢測器

DSSD(Deconvolutional Single Shot Detector)反卷積的單次多邊界盒檢測器

Focal Loss：聚焦損失

FPN：(Feature Pyramid Networks)特征金字塔網絡

Fast RCNN:基于區域提議的快速卷積神經網絡

IOU:(Intersection over Union)重疊度

RCNN:(Regions with CNN features)基于區域提議的卷積神經網絡

RFCN:(Region-based Fully Convolutional Networks)基于區域提議的全卷積網絡