[發明專利]一種基于三維卷積和Faster RCNN的視頻動作檢測方法

在審

• 申請號: 201810144476.0
• 申請日: 2018-02-12
• 公開（公告）號: CN108399380A
• 公開（公告）日: 2018-08-14
• 發明（設計）人: 劉波;聶相琴
• 申請（專利權）人: 北京工業大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/62;G06N3/04
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 張慧

1.一種基于三維卷積和Faster RCNN的視頻動作檢測方法，其特征在于，包括以下步驟：

步驟一、時空特征生成

對于輸入的視頻剪輯片段L，使用3D ConvNet網絡提取時空特征立方體；3D ConvNet網絡包括依次連接的卷積層1、池化層1、卷積層2、池化層2、卷積層3a、卷積層3b、池化層3、卷積層4a、卷積層4b、池化層4、卷積層5a和卷積層5b；

步驟二、全局平均池化

在卷積層5b后添加一個3×3×3的卷積核，卷積的填充和跨幅為1，卷積核數量為1024個；然后再添加一個全局平均池化層，池化核大小為1×7×7，池化的深度跨幅為1，高度和寬度的跨幅分別為7；通過全局平均池化操作在訓練過程中優化權重項

步驟三、時間候選框生成

將anchor納入時間候選框子網，子網預測關于anchor的潛在候選框和預測候選框是否包含動作的二進制標簽；anchor是以(L/8)均勻分布的時間位置為中心的預定義多尺度窗口；在每個時間位置獲取特征預測候選框具體為：首先在Conv5b后添加3×3×3的卷積核；然后應用3D max-pooling來縮小空間維度以產生時間唯一的特征圖；每一個時間位置上512維的特征向量用來預測每個時間候選框是動作還是背景的二進制得分；

步驟四、3D RoI階段

設計一個3D RoI池化層，從步驟一共享卷積Conv5b中提取每個可變長度候選框的固定大小的卷積特征；

步驟五、分類和回歸

步驟三所挑選的候選框在經過上述操作后被饋送到全連接層；所述候選框經過softmax層被分類成動作類別，視頻的開始和結束時間在regression層中進行優化；

步驟六、動作定位

在生成動作類別的同時生成一個邊界框，使用步驟二中得到的權重項來得到類別激活圖，通過閾值方法在類別激活圖基礎上生成可能包含動作的空間位置邊界框。

2.如權利要求1所述的基于三維卷積和Faster RCNN的視頻動作檢測方法，其特征在于，步驟二中：

對于一個特定的時間位置，假設f_k(x,y)表示卷積層Conv5b在空間位置(x,y)第k個單元的激活值，那么，對于第k單元來說，在全局平均池化操作后即可得到F^k＝∑_kf_k(x,y)；對于一個特定類別c的softmax的輸入其中，是第k個單元的類別c的相應權重，即表示F_k對于類別c的重要性；對于類別c的softmax輸出

通過將F^k＝∑_x,yf_k(x,y)插入到分類得分S_c中，可以得到以下公式：

假設定義M_c為特定類別c的類別激活值，那么每一個空間位置(x,y)上可以得到如下公式：

從而可以得出：

S_c＝∑_x,yM_c(x,y)

其中，M_c(x,y)表示在特定時間位置上的空間位置(x,y)被分類為c類的重要性。

3.如權利要求2所述的基于三維卷積和Faster RCNN的視頻動作檢測方法，其特征在于，步驟四中：

對于RoI池化層，首先需要確定輸出大小，然后確定內核大小、步幅和填充值；將特征立方體表示為d×h×w，對特征立方體進行時空上的的RoI池化；假設Conv5b的輸出為d×h×w，輸出結果是D×H×W，那么首先將h×w的特征圖平均分成H×W的格子，那么每個格子的大小為h/H×w/W；在每一個格子中應用最大池化方法來采樣最大值，在空間維度上得到H×W的特征圖；將d平均分成D份，那么每一份大小為d/D；在每一份中應用最大池化方法來采樣最大值，從而得到D×H×W的特征圖。