[發明專利]多標簽視頻分類方法、模型訓練方法、裝置及介質

在審

• 申請號: 202010820972.0
• 申請日: 2020-08-14
• 公開（公告）號: CN111898703A
• 公開（公告）日: 2020-11-06
• 發明（設計）人: 王子愉;姜文浩;劉威
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 李娟

1.一種多標簽視頻分類模型訓練方法，其特征在于，應用于訓練每個視頻標簽對應的視頻分類模型，每個視頻標簽對應的視頻分類模型包括特征構造模塊和分類模塊，所述方法包括：

提取樣本視頻的樣本特征矩陣；其中，所述樣本視頻標注了所屬的真實視頻標簽，所述樣本特征矩陣包括所述樣本視頻的多個樣本視頻幀中各樣本視頻幀的樣本特征向量，所述特征構造模塊的參數矩陣的秩和所述分類模塊的參數矩陣的秩均小于樣本視頻幀的樣本特征向量的維度；

通過所述特征構造模塊，確定所述樣本特征矩陣中與視頻標簽分類相關的特征，獲得第一特征矩陣；

分別通過每個視頻標簽對應的分類模塊，確定所述第一特征矩陣與視頻標簽的相關度，獲得所述樣本視頻屬于每個視頻標簽的概率；

根據所述樣本視頻屬于每個視頻標簽的概率，以及所述樣本視頻所屬的真實視頻標簽，調整所述特征構造模塊的參數矩陣，以及每個視頻標簽對應的分類模塊的參數矩陣，直至所述每個視頻標簽對應的視頻分類模型收斂，獲得每個視頻標簽對應的已訓練的視頻分類模型。

2.如權利要求1所述的方法，其特征在于，所述通過所述特征構造模塊，確定所述樣本特征矩陣中與視頻標簽分類相關的特征，獲得第一特征矩陣，具體包括：

利用所述特征構造模塊，確定所述樣本特征矩陣的轉置中與視頻標簽分類相關的特征，獲得第二特征矩陣；

根據所述第二特征矩陣，提取所述樣本特征矩陣中的特征，獲得第一特征矩陣。

3.如權利要求2所述的方法，其特征在于，所述根據所述第二特征矩陣，提取所述樣本特征矩陣中的特征，獲得第一特征矩陣，具體包括：

對所述第二特征矩陣進行稀疏處理；

根據稀疏處理后的矩陣，提取所述樣本特征矩陣中的特征，獲得第一特征矩陣。

4.如權利要求1所述的方法，其特征在于，所述分別通過每個視頻標簽對應的分類模塊，確定所述第一特征矩陣與視頻標簽的相關度，獲得所述樣本視頻屬于每個視頻標簽的概率，具體包括：

分別通過每個視頻標簽對應的分類模塊，提取所述第一特征矩陣中各特征與對應的視頻標簽的相關度，獲得每個視頻標簽對應的第三特征矩陣；

分別確定每個視頻標簽對應的第三特征矩陣的跡，并將每個第三特征矩陣的跡確定為所述樣本視頻屬于對應的視頻標簽的概率。

5.如權利要求1所述的方法，其特征在于，所述根據所述樣本視頻屬于每個視頻標簽的概率，以及所述視頻所屬的真實視頻標簽，調整所述特征構造模塊的參數矩陣，以及每個視頻標簽對應的分類模塊的參數矩陣，直至所述每個視頻標簽對應的視頻分類模型收斂，獲得每個視頻標簽對應的已訓練的視頻分類模型，具體包括：

根據每個視頻標簽的概率與所述樣本視頻所屬的真實視頻標簽之間的誤差，確定每個視頻標簽對應的分類損失；

對所有視頻標簽對應的分類損失進行加權求和，獲得視頻分類的總損失；

根據所述總損失，調整所述特征構造模塊，以及每個視頻標簽對應的分類模塊，直至所述總損失滿足目標損失，獲得每個視頻標簽對應的已訓練的視頻分類模型。

6.如權利要求1～5任一項所述的方法，其特征在于，所述提取樣本視頻的樣本特征向量，具體包括：

獲得所述視頻的多個樣本視頻幀中每個樣本視頻幀的樣本特征向量；

排列提取出的多個樣本特征向量，獲得樣本特征矩陣。

7.一種多標簽視頻分類方法，其特征在于，包括：

提取待處理視頻的目標特征矩陣；其中，所述目標特征矩陣包括所述待處理視頻的多個目標視頻幀中各目標視頻幀的目標特征向量；

通過特征構造模塊，確定所述目標特征矩陣中與視頻標簽分類相關的特征，獲得第四特征矩陣；

分別通過每個視頻標簽對應視頻標簽分類模型中的分類模塊，獲得所述第四特征矩陣與視頻標簽的相關度，獲得所述待處理視頻屬于每個視頻標簽的概率；其中，每個視頻標簽對應的視頻分類模型包括所述特征構造模塊和視頻標簽對應的分類模塊，所述特征構造模塊的參數矩陣的秩和分類模塊的參數矩陣的秩均小于目標視頻幀的目標特征向量的維度；

根據所述待處理視頻屬于每個視頻標簽的概率，確定所述待處理視頻所屬的視頻標簽。