[發明專利]視頻粒度特征確定方法、裝置和計算機可讀存儲介質

有效

• 申請號: 201911087310.0
• 申請日: 2019-11-08
• 公開（公告）號: CN110807437B
• 公開（公告）日: 2023-01-03
• 發明（設計）人: 柴子峰;鄭茂
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/764;G06V10/80
• 代理公司: 華進聯合專利商標代理有限公司 44224
• 代理人: 董慧

1.一種視頻粒度特征確定方法，其特征在于，所述方法包括：

獲取視頻，并提取所述視頻中多個視頻幀對應的圖像幀特征；所述圖像幀特征用于表征所關聯的視頻幀；所述圖像幀特征包括多維度的幀特征向量；

根據所述圖像幀特征中幀特征向量各維度的特征值的均值，得到每個所述圖像幀特征分別對應的幀特征池化值；

將所述幀特征池化值作為所述圖像幀特征對應的幀特征初始權重；所述幀特征初始權重用于表征關聯的圖像幀特征對視頻粒度特征的影響程度；

通過權重處理模型對所述幀特征初始權重進行權重映射，得到每個所述圖像幀特征分別對應的自適應幀特征權重；所述權重處理模型，是對帶場景分類標簽的樣本視頻對應的樣本幀特征初始權重進行權重映射訓練得到的；所述自適應幀特征權重，用于表征關聯的圖像幀特征與所述視頻所屬場景類別之間的相關程度；

將所述圖像幀特征按照對應的自適應幀特征權重進行特征融合，得到用于表征所述視頻所屬場景類別的視頻粒度特征；

基于所述視頻粒度特征對所述視頻進行場景分類，確定所述視頻所屬的場景類別。

2.根據權利要求1所述的方法，其特征在于，所述獲取視頻，并提取所述視頻中多個視頻幀對應的圖像幀特征包括：

獲取待確定視頻粒度特征的視頻；

按照預設采樣間隔對所述視頻進行采樣，得到多個視頻幀；

從多個所述視頻幀中提取各所述視頻幀對應的圖像幀特征。

3.根據權利要求2所述的方法，其特征在于，所述從多個所述視頻幀中提取各所述視頻幀對應的圖像幀特征，包括：

基于梯度的局部特征算子，或基于人工神經網絡對多個所述視頻幀分別進行特征提取，得到各所述視頻幀對應的圖像幀特征。

4.根據權利要求1所述的方法，其特征在于，所述通過權重處理模型對所述幀特征初始權重進行權重映射，得到每個所述圖像幀特征分別對應的自適應幀特征權重包括：

根據各所述幀特征初始權重生成初始權重向量；

通過權重處理模型中的第一映射層結構對所述初始權重向量進行第一權重映射，得到第一映射權重向量；

通過所述權重處理模型中的第二映射層結構對所述第一映射權重向量進行第二權重映射，得到第二映射權重向量；所述第二映射層結構的輸出節點數與所述圖像幀特征的數目相同；

根據所述第二映射權重向量確定每個所述圖像幀特征分別對應的自適應幀特征權重。

5.根據權利要求4所述的方法，其特征在于，所述根據各所述幀特征初始權重生成初始權重向量包括：

確定所述權重處理模型的輸入向量幀順序和各所述幀特征初始權重對應視頻幀的幀序列標識；

按照所述輸入向量幀順序和所述幀序列標識對各所述幀特征初始權重進行向量化處理，得到各所述幀特征初始權重生成初始權重向量。

6.根據權利要求4所述的方法，其特征在于，所述第一映射層結構的輸出節點數小于所述圖像幀特征的數目。

7.根據權利要求4所述的方法，其特征在于，在得到第一映射權重向量之后，還包括：

通過激活函數對所述第一映射權重向量進行非線性變換，得到變換后的第一映射權重向量；

將變換后的第一映射權重向量作為所述第一映射權重向量。

8.根據權利要求4所述的方法，其特征在于，所述根據所述第二映射權重向量確定每個所述圖像幀特征分別對應的自適應幀特征權重包括：

對所述第二映射權重向量進行歸一化處理，得到自適應幀特征權重向量；

根據所述權重處理模型的輸入向量幀順序和各所述幀特征初始權重對應視頻幀的幀序列標識，從所述自適應幀特征權重向量中確定每個所述圖像幀特征分別對應的自適應幀特征權重。