[發明專利]一種視頻識別方法、裝置及存儲介質

有效

• 申請號: 201910218314.1
• 申請日: 2019-03-21
• 公開（公告）號: CN109961041B
• 公開（公告）日: 2021-03-23
• 發明（設計）人: 王柏瑞;馬林;劉威
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 深圳翼盛智成知識產權事務所(普通合伙) 44300
• 代理人: 黃威

1.一種視頻識別方法，其特征在于，包括：

獲取待識別視頻，所述待識別視頻包括多幀圖像；

提取所述待識別視頻中每一幀圖像的空間特征，所述空間特征包括多個局部特征；

獲取隱藏特征，所述隱藏特征由當前幀圖像的上一幀圖像的局部特征按照時序輸入編碼長短期記憶單元時產生；

根據所述當前幀圖像的各個局部特征、所述隱藏特征以及所述當前幀圖像的局部特征總個數確定所述當前幀圖像的各個局部特征的權重；

根據所述當前幀圖像的各個局部特征的權重對所述當前幀圖像的各個局部特征進行整合，得到所述當前幀圖像的局部特征序列；

根據每一幀圖像的局部特征序列、以及所述待識別視頻中圖像的時序特征，對所述待識別視頻進行內容識別，得到所述待識別視頻的視頻內容描述。

2.根據權利要求1所述的方法，其特征在于，所述根據每一幀圖像的局部特征序列、以及所述待識別視頻中圖像的時序特征，對所述待識別視頻進行內容識別，得到所述待識別視頻的視頻內容描述，包括：

根據每一幀圖像的局部特征序列的權重，對所述待識別視頻中每一幀圖像的局部特征序列進行整合，得到整合后的局部特征序列；

基于視頻識別網絡模型根據所述整合后的局部特征序列以及所述時序特征，對所述待識別視頻進行內容識別，得到所述待識別視頻的視頻內容描述，其中，所述視頻識別網絡模型基于視頻樣本訓練而成。

3.根據權利要求2所述的方法，其特征在于，所述根據每一幀圖像的局部特征序列的權重，對所述待識別視頻中每一幀圖像的局部特征序列進行整合，得到整合后的局部特征序列，包括：

獲取第一識別時刻對應的隱藏特征，所述第一識別時刻對應的隱藏特征由所述第一識別時刻對應的整合后的局部特征序列按照時序輸入解碼長短期記憶單元時產生；

根據每一幀圖像的局部特征序列、所述隱藏特征以及所述待識別視頻對應的總幀數確定每一幀圖像的局部特征序列在第二識別時刻對應的權重，所述第二識別時刻為所述第一識別時刻之后的一個預估時刻；

在所述第二識別時刻根據每一幀局部特征序列的權重對每一幀局部特征序列進行整合，得到所述第二識別時刻對應的整合后的局部特征序列。

4.根據權利要求3所述的方法，其特征在于，所述基于視頻識別網絡模型根據所述整合后的局部特征序列以及所述時序特征，對所述待識別視頻進行內容識別，得到所述待識別視頻的視頻內容描述，包括：

基于所述視頻識別網絡模型根據所述第一識別時刻識別得到的單詞、所述第二識別時刻對應的整合后的局部特征序列以及所述第一識別時刻對應的隱藏特征確定所述第二識別時刻對應的隱藏特征；

根據所述第二識別時刻對應的隱藏特征識別所述待識別視頻在所述第二識別時刻識別得到的單詞；

當獲取了每個識別時刻的單詞之后，根據每個識別時刻的單詞確定所述待識別視頻的視頻內容描述。

5.根據權利要求2所述的方法，其特征在于，所述方法還包括：

獲取視頻樣本，所述視頻樣本包括多幀樣本圖像；

提取所述視頻樣本中每一幀樣本圖像的多個局部特征；

根據每一幀樣本圖像中各個局部特征的權重，對每一幀樣本圖像中的局部特征進行整合，得到每一幀樣本圖像的局部特征序列；

根據每一幀樣本圖像的局部特征序列、以及所述視頻樣本中圖像的時序特征，對所述視頻樣本進行內容識別，得到所述待識別視頻的視頻內容信息，所述視頻內容信息包括視頻內容描述以及所述視頻內容描述的詞性信息；

根據所述視頻內容信息以及所述視頻樣本的真實視頻內容信息更新所述視頻識別網絡模型的參數，所述真實視頻內容信息包括真實視頻內容描述以及所述真實視頻內容描述的真實詞性信息。

6.根據權利要求5所述的方法，其特征在于，所述根據所述視頻內容信息以及所述視頻樣本的真實視頻內容信息更新所述視頻識別網絡模型的參數，包括：

根據所述真實視頻內容描述從所述視頻內容描述中確定內容描述預測值；

根據所述真實詞性信息從所述詞性信息中確定詞性預測值；

根據所述內容描述預測值以及所述詞性預測值更新所述視頻識別網絡模型的參數。