[發明專利]一種基于長時程深度時空網絡的行為識別方法

在審

• 申請號: 201810071442.3
• 申請日: 2018-01-25
• 公開（公告）號: CN108319905A
• 公開（公告）日: 2018-07-24
• 發明（設計）人: 孫寧;宦睿智;李曉飛
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04
• 代理公司: 南京蘇科專利代理有限責任公司 32102
• 代理人: 姚姣陽

1.一種基于長時程深度時空網絡的行為識別方法，其特征在于，包括如下步驟：S1、構建多通道特征拼接網絡模型；

S2、選取視頻行為數據集，提取視頻行為數據集中每個視頻的視頻幀和光流幀，將視頻幀的集合作為彩色圖像序列數據集，光流幀的集合作為光流圖像序列數據集；

S3、將彩色圖像序列數據集和光流圖像序列數據集按照連續多幀分為若干片段，片段輸入多通道特征拼接網絡模型，先經過低層卷積層提取每個片段連續幀的時空特征，再由中層拼接生成每個視頻片段的整體時空特征，并將每個視頻片段的整體時空特征按片段順序串接形成視頻的整體時空特征，然后在高層融合視頻的整體時空特征，最后通過softmax層輸出該視頻行為的分類結果。

2.根據權利要求1所述的一種基于長時程深度時空網絡的行為識別方法，其特征在于，還包括S4、訓練多通道特征拼接網絡模型，采用預訓練參數加快每路卷積神經網絡收斂速度，進行遷移學習。

3.根據權利要求1所述的一種基于長時程深度時空網絡的行為識別方法，其特征在于，所述多通道特征拼接網絡模型包括3個通道輸入、90層網絡和1個輸出，所述3個通道輸入分別為原始視頻幀圖像輸入、X方向光流特征圖像輸入和Y方向光流特征圖像輸入，所述90層網絡的前87層為分別對應3個通道輸入的三路并行卷積神經網絡，每路卷積神經網絡均為29層且結構相同，所述90層網絡的第88、89、90層為全連接層，所述輸出為softmax層。

4.根據權利要求3所述的一種基于長時程深度時空網絡的行為識別方法，其特征在于，所述每路卷積神經網絡的前29層依次為2層卷積層、1層池化層、2層卷積層、1層池化層、3層卷積層、1層池化層、特征拼接層、片段特征串接層、3層卷積層、1層池化層、特征拼接層、3層卷積層、1層池化層、3層卷積層和1層池化層；所述卷積層的卷積核為3×3，所述池化層為最大池化，其池化核為2×2；所述特征拼接層以2×2方形的形式拼接。

5.根據權利要求1所述的一種基于長時程深度時空網絡的行為識別方法，其特征在于，所述步驟S3中彩色圖像序列數據集和光流圖像序列數據集中每連續16幀劃分為一個片段，在三路并行卷積神經網絡的低層通過卷積層和池化層分別提取視頻連續幀的時空特征；對卷積神經網絡輸入彩色圖像序列數據集片段提取視頻空間變化特征，對卷積神經網絡輸入光流圖像序列數據集片段提取視頻變化特征。

6.根據權利要求1所述的一種基于長時程深度時空網絡的行為識別方法，其特征在于，所述步驟S3中由中層拼接生成每個視頻片段的整體時空特征，并將每個視頻片段的整體時空特征按片段順序串接形成視頻的整體時空特征的具體方法為：

將卷積神經網絡的低層獲取的連續16幀片段的時空特征以每4幀作為一個單位，每個單位的4幀圖像以2×2形式拼接為小塊的整體時空特征；

每個小塊的整體時空特征是三維的，保持第三維深度不變，將第一維長度和第二維寬度拼接，使連續16幀片段的時空特征轉化為4個小塊的整體時空特征；

4個小塊的整體時空特征的第三維深度不變，將第一維長度和第二位寬度擴大一倍，再經過卷積池化后，將4個小塊的整體時空特征以2×2形式拼接為片段的整體時空特征；

將各片段的整體時空特征按片段順序串接，最終形成整個視頻的整體時空特征。

7.根據權利要求1所述的一種基于長時程深度時空網絡的行為識別方法，其特征在于，所述步驟S3中在多通道特征拼接網絡模型的高層融合視頻的整體時空特征后，通過全連接層融合三路并行卷積神經網絡內的視頻特征。

8.根據權利要求1所述的一種基于長時程深度時空網絡的行為識別方法，其特征在于，所述融合視頻的整體時空特征的融合方式為串接融合、加權融合和平均融合中的一種。