[發明專利]一種基于3D卷積神經網絡的行為識別方法

有效

• 申請號: 201410444276.9
• 申請日: 2014-09-02
• 公開（公告）號: CN104281853B
• 公開（公告）日: 2017-11-17
• 發明（設計）人: 郝宗波;桑楠;吳杰;余冬
• 申請（專利權）人: 電子科技大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/02
• 代理公司: 電子科技大學專利中心51203
• 代理人: 張楊

1.一種基于3D卷積神經網絡的行為識別方法，該方法包括：

一、離線訓練

步驟1：首先進行神經網絡的訓練，輸入樣本視頻，并對該樣本視頻進行灰度化預處理處理；

步驟2：在第一層設置5～9個通道，這些通道包括：1個灰度通道、2～6個Gabor通道、2個光流通道，其中灰度通道包含視頻的灰度圖像，Gabor通道是灰度化處理后的視頻通過不同的Gabor濾波器得到的不同響應；

步驟3：對第一層的每個通道采用尺寸小于原視頻的2個或3個不同的3D卷積核進行3D卷積，得到含有2倍或3倍于通道數量的特征map，為第二層；

步驟4：對第二層各特征map在空間域上進行采樣單元為2×2或3×3的下采樣，時間域上進行采樣單元為2的下采樣，得到數量相同但時空分辨率減小的特征map，為第三層；

步驟5：對第三層的每個特征map采用尺寸小于該層特征map的2個或3個不同的3D卷積核進行3D卷積，得到含有2倍或3倍于第三層特征map的第四層特征map；

步驟6：對第四層各特征map在空間域上進行采樣單元為2×2或3×3的下采樣，時間域上進行采樣單元為2的下采樣，得到數量相同但時空分辨率減小的特征map，為第五層；

步驟7：第六層為100～150個尺寸為1×1的特征map，每個特征map與第五層的所有特征map全連接；

步驟8：第七層為輸出層，包含n個輸出節點，對應n種分類行為，每個節點與第六層所有特征map全連接；

步驟9：通過BP算法對各層之間的計算參數進行調整，使得每個樣本的輸出與標簽之間的誤差下降，當誤差滿足要求后，訓練完畢，再對各輸出向量根據其對應的樣本視頻行為名稱設置標簽；

二、在線識別

步驟10：對視頻進行識別，輸入需要識別的視頻，并對該視頻進行灰度化預處理，采用與步驟2～步驟8的方法對輸入視頻進行處理，得到輸出向量；

步驟11：將步驟10的輸出向量與各標簽定義的向量進行匹配，找到與之最匹配的標簽向量，該標簽向量的行為名稱為輸入視頻的行為名稱；

所述步驟2中設置7個通道，包括：1個灰度通道、4個Gabor通道、2個光流通道，其中4個Gabor通道分別為灰度化視頻通過四個不同Gabor濾波器得到的不同響應，這四個Gabor 濾波器的Gabor核分別為：方向水平和小尺度、方向垂直和小尺度、方向水平和大尺度、方向垂直和大尺度；所述步驟7中第六層設置128個尺寸為1×1的特征map，每個特征map與第五層的所有特征map全連接。