[發明專利]視頻片段檢測方法、裝置、電子設備及存儲介質

有效

• 申請號: 202010591665.X
• 申請日: 2020-06-24
• 公開（公告）號: CN111753735B
• 公開（公告）日: 2023-06-06
• 發明（設計）人: 卜琪;王紅宇;王濤
• 申請（專利權）人: 北京奇藝世紀科技有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/74;G06V10/762;G06V10/82;G06F16/71;G06F16/783
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 馬敬;丁蕓

1.一種視頻片段檢測方法，其特征在于，所述方法包括：

通過預先訓練的第一深度學習網絡提取待檢測視頻的深度學習特征，利用所述待檢測視頻的深度學習特征進行視頻拷貝檢測，確定待檢測視頻中的疑似侵權視頻段；

若所述疑似侵權視頻段的置信度分數小于預設置信度閾值，將所述待檢測視頻的深度學習特征聚類為兩類，分別確定每個類對應的候選拷貝片段；并通過預先訓練的第二深度學習網絡對所述待檢測視頻各視頻幀的深度學習特征進行轉換，得到所述待檢測視頻的各視頻幀的轉換特征，其中，所述第二深度學習網絡是根據樣本侵權視頻段的深度學習特征及樣本侵權視頻段所侵權的樣本版權視頻段的深度學習特征訓練得到的，所述疑似侵權視頻段的置信度分數表示所述疑似侵權視頻段與其侵權的樣本版權視頻段的相似度；

根據所述待檢測視頻的各視頻幀的轉換特征，分別提取各所述候選拷貝片段中各視頻幀的轉換特征；

利用各所述候選拷貝片段中各視頻幀的轉換特征進行視頻拷貝檢測，得到各所述候選拷貝片段的視頻拷貝檢測結果；

在各所述候選拷貝片段的視頻拷貝檢測結果中，選取置信度分數最高的視頻拷貝檢測結果對應的所述待檢測視頻中的視頻段作為目標侵權視頻段，選取置信度分數最高的視頻拷貝檢測結果對應的樣本版權視頻中的視頻段作為目標樣本版權視頻段。

2.根據權利要求1所述的方法，其特征在于，所述利用各所述候選拷貝片段中各視頻幀的轉換特征進行視頻拷貝檢測，得到各所述候選拷貝片段的視頻拷貝檢測結果，包括：

獲取預先生成的樣本版權視頻的倒排索引矩陣數據，其中，所述倒排索引矩陣數據是由所述樣本版權視頻的深度學習特征聚類后添加倒排索引得到的；

針對各所述候選拷貝片段中的任一視頻幀，在所述樣本版權視頻的倒排索引矩陣數據中對該視頻幀的轉換特征進行檢索，確定與該視頻幀的相似度最高的K幀樣本版權視頻幀，從而分別得到各所述候選拷貝片段中各視頻幀的相似度最高的K幀樣本版權視頻幀；

針對任一候選拷貝片段，生成該候選拷貝片段中各視頻幀的相似度最高的K幀樣本版權視頻幀的有向無環圖，從而分別得到各所述候選拷貝片段的有向無環圖，其中，所述有向無環圖僅有一個源點和一個匯點，所述候選拷貝片段的有向無環圖中樣本版權視頻幀的權重為該樣本版權視頻幀與其對應的候選拷貝片段視頻幀的相似度；

針對任一候選拷貝片段，將該候選拷貝片段的有向無環圖中置信度分數最高的路徑，作為該候選拷貝片段的視頻拷貝檢測結果，從而分別得到各所述候選拷貝片段的視頻拷貝檢測結果，其中，針對任一路徑，該路徑的置信度分數與該路徑上所有樣本版權視頻幀權重的和正相關。

3.根據權利要求1所述的方法，其特征在于，所述將所述待檢測視頻的深度學習特征聚類為兩類，分別確定每個類對應的候選拷貝片段，包括：

通過K-Means聚類將所述待檢測視頻的各視頻幀的深度學習特征聚類為兩類，得到各所述類的聚類結果，其中，所述類的聚類結果包括該類中起始視頻幀及結束視頻幀在所述待檢測視頻中的位置；

根據各所述類中起始視頻幀及結束視頻幀在所述待檢測視頻中的位置，得到各所述類對應的候選拷貝片段。

4.根據權利要求1所述的方法，其特征在于，預先訓練第二深度學習網絡的步驟包括：

獲取待訓練的第二深度學習網絡及深度學習特征集，其中，所述深度學習特征集包括多個樣本侵權視頻段的深度學習特征，各所述樣本侵權視頻段的深度學習特征均各自標記有其樣本侵權視頻段所侵權的樣本版權視頻段的深度學習特征；

在所述深度學習特征集中選取深度學習特征輸入到第二深度學習網絡中，得到該深度學習特征的預測特征；

計算選取的深度學習特征的預測特征與其樣本侵權視頻段所侵權的樣本版權視頻段的深度學習特征的損失，得到第二深度學習網絡的損失；

若第二深度學習網絡的損失不收斂，返回執行上述步驟：在所述深度學習特征集中選取深度學習特征輸入到第二深度學習網絡中，得到該深度學習特征的預測特征，直至第二深度學習網絡的損失收斂，得到訓練好的第二深度學習網絡。