[發(fā)明專利]視頻標簽索引庫創(chuàng)建方法、視頻標簽生成方法及裝置

有效

• 申請?zhí)枺?/td>: 201910798447.0
• 申請日: 2019-08-27
• 公開（公告）號: CN110502664B
• 公開（公告）日: 2022-12-02
• 發(fā)明（設計）人: 李爭;鄭茂
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/71
• 分類號: G06F16/71;G06F16/75;G06F16/78
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 駱蘇華

本申請公開了視頻標簽索引庫創(chuàng)建方法、視頻標簽生成方法及裝置，其中，該視頻標簽索引庫創(chuàng)建方法針對各個預設標簽，標注一定數(shù)量的視頻作為已標注視頻；然后，從每個已標注視頻中提取滿足預設條件的多個視頻幀，然后從每個視頻幀中提取得到視頻幀特征。對于每個預設標簽，基于該預設標簽對應的每個視頻幀的視頻幀特征得到該預設標簽對應的目標視頻幀特征。依據(jù)各個預設標簽及其對應的目標視頻幀特征創(chuàng)建得到視頻標簽索引庫。創(chuàng)建視頻標簽索引庫時，每個預設標簽只需要少量已標注的已標注視頻；而且，當增加新標簽時，不需要重新訓練，只需要將新標簽對應的已標注的少量已標注視頻提取特征更新到視頻標簽索引庫中，更容易擴展。

技術領域

本申請涉及視頻處理技術領域，尤其涉及視頻標簽索引庫創(chuàng)建方法、視頻標簽生成方法及裝置。

背景技術

隨著網絡技術飛速發(fā)展，多媒體的推廣應用，各種視頻源源不斷地產生，視頻等媒體數(shù)據(jù)已經成為大數(shù)據(jù)的主體，針對大量視頻如何自動生成相關的標簽，將對滿足用戶的信息獲取需求意義重大。

傳統(tǒng)的視頻標簽生成方案通常是：將短視頻分成多個視頻片段，獲取每個視頻片段的關鍵幀；然后，利用預先訓練好的分類模型對每個關鍵幀進行分類得到關鍵幀標簽，根據(jù)關鍵幀對應的標簽得到視頻的標簽。其中，分類模型需要大量的訓練數(shù)據(jù)進行訓練，如果增加新的視頻標簽，則需要人工標注大量的訓練數(shù)據(jù)并重新訓練整個分類模型。可見，這種分類模型訓練過程耗時費力，且擴展性非常差。

發(fā)明內容

有鑒于此，本申請?zhí)峁┝艘曨l標簽索引庫創(chuàng)建方法、視頻標簽生成方法及裝置，以創(chuàng)建存儲有預設標簽及各預設標簽對應的視頻幀的視頻幀特征的視頻標簽索引庫，對于沒有標簽的視頻，依據(jù)視頻的視頻幀特征直接從視頻標簽索引庫中檢索獲得該視頻的標簽。

為了實現(xiàn)上述目的，本申請一方面提供了一種視頻標簽索引庫創(chuàng)建方法，包括：

獲取各個預設標簽所對應的至少一個已標注視頻；

對于任意一個預設標簽，從該預設標簽對應的各個已標注視頻中提取至少兩個視頻幀，得到目標視頻幀集合；

對于任意一個預設標簽，從該預設標簽對應的目標視頻幀集合包含的每個視頻幀中提取視頻幀特征，得到該預設標簽對應的目標視頻幀特征；

基于各個預設標簽及各個預設標簽所對應的目標視頻幀特征，創(chuàng)建視頻標簽索引庫。

在一種可能的實現(xiàn)方式中，所述對于任意一個預設標簽，從該預設標簽對應的全部已標注視頻中提取與該預設標簽相匹配的多個視頻幀，得到目標視頻幀集合，包括：

對于任意一個預設標簽，從與該視頻標簽對應的各個已標注視頻中，提取該已標注視頻所包含的視頻幀；

去除同一個已標注視頻所包含的視頻幀中的純色圖片，以及去除視頻幀中的視頻黑邊，得到該已標注視頻對應的處理后的視頻幀；

去除同一個已標注視頻對應的處理后的視頻幀中的重復圖片，以及，去除同一預設標簽對應的視頻幀中的重復圖片，得到該預設標簽對應的目標視頻幀集合。

在一種可能的實現(xiàn)方式中，所述去除同一個已標注視頻對應的處理后的視頻幀中的重復圖片，包括：

提取所述同一個已標注視頻對應的各個處理后的視頻幀的phash特征；

獲取所述同一個已標注視頻對應的任意兩個處理后的視頻幀對應的phash特征之間的漢明距離；

若所述漢明距離小于或等于預設值，則刪除兩個處理的視頻幀中的任意一個。

在一種可能的實現(xiàn)方式中，所述基于各個預設標簽及各個預設標簽所對應的目標視頻幀特征，創(chuàng)建視頻標簽索引庫，包括：

將全部預設標簽對應的全部目標視頻幀特征進行聚類，得到至少兩個第一類聚類簇；