[發明專利]行為識別方法、裝置、終端設備和可讀存儲介質

在審

• 申請號: 202011560430.0
• 申請日: 2020-12-25
• 公開（公告）號: CN112580557A
• 公開（公告）日: 2021-03-30
• 發明（設計）人: 林燦然;程駿;郭渺辰;邵池;龐建新
• 申請（專利權）人: 深圳市優必選科技股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 梁韜

1.一種行為識別方法，其特征在于，包括：

獲取目標視頻；

按照自適應抽幀策略對所述目標視頻進行抽幀以獲得多個視頻幀，并將所述多個視頻幀進行組合以獲得若干數量的視頻片段；

基于三維卷積模型提取每一所述視頻片段的特征向量，并基于注意力模塊計算每一所述特征向量的權重，對每一所述特征向量分別進行權重加權以獲得相同數量的加權特征向量；

根據每一所述視頻片段的所述加權特征向量進行行為識別以獲得每一所述視頻片段的行為，并基于所有視頻片段的所述行為確定所述目標視頻的最終行為。

2.根據權利要求1所述的行為識別方法，其特征在于，所述自適應抽幀策略通過以下步驟預先獲?。?/p>

利用包含多個視頻樣本的訓練集進行視頻抽幀訓練，得到不同視頻的幀數與抽幀間隔之間的選取關系，所述選取關系如下：

其中，l表示抽幀間隔；T_i表示第i個視頻樣本的幀數，i取值為1,…,C，C為該訓練集中視頻樣本的數目；T_a表示該訓練集中所有視頻的平均幀數。

3.根據權利要求2所述的行為識別方法，其特征在于，所述按照自適應抽幀策略對所述目標視頻進行抽幀以獲得多個視頻幀，包括：

判斷所述目標視頻的視頻類型，其中，所述視頻類型包括離線視頻和在線視頻；

若所述目標視頻為離線視頻，則根據所述目標視頻和基于所述訓練集得到的所述選取關系確定所述目標視頻的抽幀間隔；

若所述目標視頻為在線視頻，則將所述訓練集中占比最高的抽幀間隔作為所述目標視頻的抽幀間隔；

按照得到的所述抽幀間隔對所述目標視頻進行抽幀以獲得多個視頻幀。

4.根據權利要求1所述的行為識別方法，其特征在于，所述根據每一所述視頻片段的所述加權特征向量進行行為識別以獲得每一所述視頻片段的行為，包括：

按照預設通道維度對所有的加權特征向量進行特征向量拼接，得到所述目標視頻的特征向量矩陣；

將所述特征向量矩陣輸入預設全連接層中，輸出降維特征向量矩陣，所述降維特征向量矩陣中的每個特征向量的維度等于預設的行為類型數量；

通過預設激活函數計算所述降維特征向量矩陣中的每個特征向量中的各個行為類型的概率，得到每一所述視頻片段的行為結果。

5.根據權利要求4所述的行為識別方法，其特征在于，所述基于所有視頻片段的所述行為確定所述目標視頻的最終行為，包括：

將每一所述視頻片段中概率最大的一類行為作為對應視頻片段的行為；

通過投票選取出所有的視頻片段中識別次數最多的一類行為作為所述目標視頻最終的行為識別。

6.根據權利要求1至5中任一項所述的行為識別方法，其特征在于，所述注意力模塊包括依次連接的第一全連接層、修正線性單元和第二全連接層，所述基于注意力模塊計算每一所述特征向量的權重，包括：

將對應特征向量輸入所述第一全連接層，輸出降維特征向量；

利用所述修正線性單元對所述降維特征向量進行激活；

將激活后的降維特征向量輸入所述第二全連接層，輸出升維特征向量；

利用歸一化函數對所述升維特征向量進行歸一化，得到所述對應特征向量的權重。

7.一種行為識別裝置，其特征在于，包括：

獲取模塊，用于獲取目標視頻；

抽幀模塊，用于按照自適應抽幀策略對所述目標視頻進行抽幀以獲得多個視頻幀，并將所述多個視頻幀進行組合以獲得若干數量的視頻片段；

權重計算模塊，用于基于三維卷積模型提取每一所述視頻片段的特征向量，并基于注意力模塊計算每一所述特征向量的權重，對每一所述特征向量分別進行權重加權以獲得相同數量的加權特征向量；

行為識別模塊，用于根據每一所述視頻片段的所述加權特征向量進行行為識別以獲得每一所述視頻片段的行為，并基于所有視頻片段的所述行為確定所述目標視頻的最終行為。