[發明專利]一種標簽配置方法、裝置、設備及存儲介質

在審

• 申請號: 202110019037.9
• 申請日: 2021-01-07
• 公開（公告）號: CN113392317A
• 公開（公告）日: 2021-09-14
• 發明（設計）人: 葉振旭;楊偉東;岑杰鵬;曹圣明;王珩;陳宇;車翔;徐孩
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06F16/78;G06N3/08;G06N3/04
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 王兆林

1.一種標簽配置方法，其特征在于，所述方法包括：

獲取待配置標簽的目標資源；

通過特征提取模型，對所述目標資源的目標參考數據進行特征提取處理，得到所述目標參考數據對應的特征向量；

通過標簽分類模型，根據所述目標參考數據對應的特征向量，確定所述目標資源所屬于各候選分類標簽的概率；所述標簽分類模型與所述特征提取模型互相獨立；

根據所述目標資源所屬于各候選分類標簽的概率，確定所述目標資源對應的目標分類標簽。

2.根據權利要求1所述的方法，其特征在于，所述目標資源為目標視頻資源，所述目標參考數據包括以下至少一種：所述目標視頻資源中的多個目標視頻幀、所述目標視頻資源中的目標音頻、所述目標視頻資源的目標參考文本，所述目標參考文本包括標題文本和內容介紹文本中的至少一種；

所述通過特征提取模型，對所述目標資源的目標參考數據進行特征提取處理，得到所述目標參考數據對應的特征向量，包括：

當所述目標參考數據包括所述目標視頻資源中的多個目標視頻幀時，通過圖像特征提取模型，對所述多個目標視頻幀分別進行特征提取處理，得到所述多個目標視頻幀各自對應的特征向量；

當所述目標參考數據包括所述目標視頻資源中的目標音頻時，通過音頻特征提取模型，對所述目標音頻對應的多段梅爾頻譜分別進行特征提取處理，得到所述多段梅爾頻譜各自對應的特征向量；

當所述目標參考數據包括所述目標視頻資源的目標參考文本時，通過文本特征提取模型，對所述目標參考文本中的文本分詞進行特征提取處理，得到所述文本分詞對應的特征向量。

3.根據權利要求2所述的方法，其特征在于，當所述目標參考數據包括所述目標視頻資源中的多個目標視頻幀、所述目標視頻資源中的目標音頻、以及所述目標視頻資源的目標參考文本時，所述標簽分類模型包括單模態特征聚合模塊、多模態特征聚合模塊和標簽分類模塊，所述單模態特征聚合模塊包括視頻特征聚合層、音頻特征聚合層和文本特征聚合層；

所述通過標簽分類模型，根據所述目標參考數據對應的特征向量，確定所述目標資源所屬于各候選分類標簽的概率，包括：

通過所述視頻特征聚合層，聚合所述多個目標視頻幀各自對應的特征向量，得到視頻聚合特征向量；通過所述音頻特征聚合層，聚合所述多段梅爾頻譜各自對應的特征向量，得到音頻聚合特征向量；通過所述文本特征聚合層，聚合所述文本分詞對應的特征向量，得到文本聚合特征向量；

通過所述多模態特征聚合模塊，聚合所述視頻聚合特征向量、所述音頻聚合特征向量和所述文本聚合特征向量，得到目標特征向量；

通過所述標簽分類模塊，根據所述目標特征向量，確定所述目標資源所屬于各所述候選分類標簽的概率。

4.根據權利要求3所述的方法，其特征在于，所述通過所述多模態特征聚合模塊，聚合所述視頻聚合特征向量、所述音頻聚合特征向量和所述文本聚合特征向量，得到目標特征向量，包括：

通過所述多模態特征聚合模塊中的全連接層，將所述視頻聚合特征向量、所述音頻聚合特征向量和所述文本聚合特征向量映射至目標維度，得到目標視頻特征向量、目標音頻特征向量和目標文本特征向量；

對所述視頻聚合特征向量、所述音頻聚合特征向量和所述文本聚合特征向量分別進行線性映射處理，根據線性映射處理后的所述視頻聚合特征向量、所述音頻聚合特征向量和所述文本聚合特征向量，確定所述目標視頻特征向量、所述目標音頻特征向量和所述目標文本特征向量各自對應的門單元；

基于所述目標視頻特征向量、所述目標音頻特征向量和所述目標文本特征向量各自對應的門單元，對所述目標視頻特征向量、所述目標音頻特征向量和所述目標文本特征向量進行加權聚合處理，得到所述目標特征向量。