[發明專利]視頻標簽索引庫創建方法、視頻標簽生成方法及裝置

有效

• 申請號: 201910798447.0
• 申請日: 2019-08-27
• 公開（公告）號: CN110502664B
• 公開（公告）日: 2022-12-02
• 發明（設計）人: 李爭;鄭茂
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/71
• 分類號: G06F16/71;G06F16/75;G06F16/78
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 駱蘇華

1.一種視頻標簽生成方法，其特征在于，包括：

提取請求生成標簽的請求視頻所包含的目標視頻幀集合，所述目標視頻幀集合包括多個目標視頻幀；

對于每個目標視頻幀，提取該目標視頻幀的視頻幀特征；

從預先建立的視頻標簽索引庫中，選取與該目標視頻幀的視頻幀特征相似性最高的視頻幀，所述視頻標簽索引庫存儲有預設標簽對應的至少一個已標注視頻的視頻幀特征；

確定選取的相似性最高的視頻幀對應的標簽為所述目標視頻幀的標簽；

統計所述目標視頻幀集合中各個目標視頻幀對應的標簽種類及每種標簽的數量；

選取對應的目標視頻幀的數量最大的標簽為所述請求視頻對應的標簽；

其中，所述視頻標簽索引庫的建立過程包括：

獲取各個預設標簽所對應的至少一個已標注視頻；

對于任意一個預設標簽，從該預設標簽對應的各個已標注視頻中提取至少兩個視頻幀，并對至少兩個視頻幀執行去除純色圖片、去除視頻黑邊，以及，去除視頻幀中的重復圖片處理，得到目標視頻幀集合；

對于任意一個預設標簽，從該預設標簽對應的目標視頻幀集合包含的每個視頻幀中提取視頻幀特征，得到該預設標簽對應的目標視頻幀特征；

將全部預設標簽對應的全部目標視頻幀特征進行聚類，得到至少兩個第一類聚類簇；

分別計算各個目標視頻幀特征與所屬第一類聚類簇的聚類中心之間的殘差，得到各個目標視頻幀特征對應的殘差向量；

將每個目標視頻幀特征對應的殘差向量劃分成m個短向量，每個短向量的維度為殘差向量的維度/m，將所有目標視頻幀特征對應的殘差向量中相同維度的短向量構成一組，得到m組短向量，m大于等于2；

對每組短向量進行聚類得到多個第二類聚類簇，并利用每個短向量所屬的第二類聚類簇的聚類中心代替所述短向量，實現對每個殘差向量進行壓縮，得到壓縮后的殘差向量；

對于每個目標視頻幀特征，利用該目標視頻幀特征對應的壓縮后的殘差向量替換該目標視頻幀特征，得到壓縮后的目標視頻幀特征；

存儲各個預設標簽及各個預設標簽所對應的壓縮后的目標視頻幀特征，得到視頻標簽索引庫；所述視頻標簽索引庫中每個目標視頻幀特征對應標注有一個標簽，所述標簽為該目標視頻幀特征對應的視頻幀所屬已標注視頻的標簽。

2.根據權利要求1所述的方法，其特征在于，所述對于任意一個預設標簽，從該預設標簽對應的各個已標注視頻中提取至少兩個視頻幀，并對至少兩個視頻幀執行去除純色圖片、去除視頻黑邊，以及，去除視頻幀中的重復圖片處理，得到目標視頻幀集合，包括：

對于任意一個預設標簽，從與該視頻標簽對應的各個已標注視頻中，提取該已標注視頻所包含的視頻幀；

去除同一個已標注視頻所包含的視頻幀中的純色圖片，以及去除視頻幀中的視頻黑邊，得到該已標注視頻對應的處理后的視頻幀；

去除同一個已標注視頻對應的處理后的視頻幀中的重復圖片，以及，去除同一預設標簽對應的視頻幀中的重復圖片，得到該預設標簽對應的目標視頻幀集合。

3.根據權利要求2所述的方法，其特征在于，所述去除同一個已標注視頻對應的處理后的視頻幀中的重復圖片，包括：

提取所述同一個已標注視頻對應的各個處理后的視頻幀的phash特征；

獲取所述同一個已標注視頻對應的任意兩個處理后的視頻幀對應的phash特征之間的漢明距離；

若所述漢明距離小于或等于預設值，則刪除兩個處理的視頻幀中的任意一個。

4.根據權利要求1所述的方法，其特征在于，所述方法還包括：

獲取新標簽，以及所述新標簽對應的至少一個已標注視頻；

基于從每個所述已標注視頻中提取視頻幀，獲得與所述新標簽對應的目標視頻幀集合；

從所述新標簽對應的目標視頻幀集合中的每個視頻幀中提取視頻幀特征，得到所述新標簽對應的目標視頻幀特征；

計算所述新標簽對應的目標視頻幀特征進行壓縮，得到壓縮后的視頻幀特征；

將所述新標簽對應的壓縮后的視頻幀特征更新至所述視頻標簽索引庫。