[發明專利]一種標簽提取方法及裝置

有效

• 申請號: 202010329789.0
• 申請日: 2020-04-24
• 公開（公告）號: CN111222500B
• 公開（公告）日: 2020-08-04
• 發明（設計）人: 劉樹林
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 李娟

1.一種標簽提取方法，其特征在于，包括：

獲取待提取視頻和所述待提取視頻的視頻標題；

提取所述視頻標題的標題特征信息；

基于已訓練的目標檢測模型的圖像特征提取模塊提取所述待提取視頻中的各個目標視頻幀的圖像特征信息，并基于所述目標檢測模型的目標檢測模塊分別對所述各個目標視頻幀，根據目標視頻幀的圖像特征信息和所述標題特征信息進行目標檢測，獲得所述各個目標視頻幀中檢測到的目標所屬的類別和類別置信度，并分別將所述各個目標視頻幀中檢測到的目標所屬的類別，作為對應目標視頻幀的標簽；

分別針對所述各個目標視頻幀，統計所述各個目標視頻幀中所有目標的類別置信度大于置信度閾值對應的標簽，確定為所述待提取視頻的候選標簽集；根據所述候選標簽集，確定所述待提取視頻的標簽；

其中，所述目標檢測模塊的網絡結構至少包括三層分支結構，分別為第一分支結構、第二分支結構和第三分支結構，所述第一分支結構用于檢測第一大小范圍內的目標，所述第二分支結構用于檢測第二大小范圍內的目標，所述第三分支結構用于檢測第三大小范圍內的目標，所述第一大小范圍表示大于第一閾值，第二大小范圍表示第一閾值和第二閾值之間，第三大小范圍表示小于第二閾值。

2.如權利要求1所述的方法，其特征在于，提取所述視頻標題的標題特征信息，具體包括：

基于已訓練的文本編碼模型，以所述視頻標題為輸入，依次通過所述文本編碼模型的卷積層和池化層，對所述視頻標題進行卷積和壓縮操作，獲得所述視頻標題的標題特征信息。

3.如權利要求1所述的方法，其特征在于，所述圖像特征提取模塊分別以所述各個目標視頻幀為輸入，對所述各個目標視頻幀進行卷積操作，獲得所述各個目標視頻幀的圖像特征信息；

所述目標檢測模塊以所述標題特征信息和所述各個目標視頻幀的圖像特征信息為輸入，分別對所述各個目標視頻幀進行目標檢測，獲得所述各個目標視頻幀中檢測到的目標所屬的類別和類別置信度；并分別將所述各個目標視頻幀中檢測到的目標所屬的類別，作為對應目標視頻幀的標簽。

4.如權利要求1所述的方法，其特征在于，所述第一分支結構以所述圖像特征提取模塊的最后一層卷積層輸出的圖像特征信息和所述標題特征信息為輸入，所述第二分支結構以所述圖像特征提取模塊的第一中間層卷積層輸出的圖像特征信息、所述第一分支結構中對所述最后一層卷積層輸出的圖像特征信息進行全卷積特征提取后的輸出和所述標題特征信息為輸入，所述第三分支結構以所述圖像特征提取模塊的第二中間層卷積層輸出的圖像特征信息、所述第二分支結構中對所述第一中間層卷積層輸出的圖像特征信息進行全卷積特征提取后的輸出和所述標題特征信息為輸入，所述第一分支結構、所述第二分支結構和所述第三分支結構的輸出均為檢測到的目標所屬的類別和類別置信度，以及目標的位置信息。

5.如權利要求1-4任一項所述的方法，其特征在于，根據所述候選標簽集，確定所述待提取視頻的標簽，具體包括：

分別統計所述候選標簽集中各標簽出現的次數；

將出現的次數大于類別次數閾值的標簽作為所述待提取視頻的標簽。