[發明專利]面向壓縮域的視頻內容比對系統、優化方法、比對方法

有效

• 申請號: 202011086137.5
• 申請日: 2020-10-12
• 公開（公告）號: CN112215908B
• 公開（公告）日: 2022-12-02
• 發明（設計）人: 李揚曦;繆亞男;袁慶升;胡衛明;李兵;劉雨帆;胡賽軍
• 申請（專利權）人: 國家計算機網絡與信息安全管理中心;中國科學院自動化研究所
• 主分類號: G06T9/00
• 分類號: G06T9/00;G06V10/80;G06V10/764;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京市恒有知識產權代理事務所(普通合伙) 11576
• 代理人: 郭文浩;尹文會

1.一種面向壓縮域的視頻內容比對系統，其特征在于，包括順次連接的第一模塊、第二模塊和分類器；

所述第一模塊包括特征學習模塊和多模態壓縮域信息融合模塊；所述特征學習模塊，配置為基于輸入視頻的多種壓縮域信息，分別獲取多種模態的特征圖；所述多模態壓縮域信息融合模塊，配置為對所述特征學習模塊輸出的多種模態的特征圖進行信息融合，得到所述輸入視頻的融合特征向量；

所述第二模塊，配置為獲取兩個輸入視頻的融合特征向量的L1距離；

所述分類器為二分類網絡，配置為基于所述第二模塊輸出的L1距離進行比對結果的二分類；

所述比對系統的優化方法為：

基于預設的訓練樣本，進行第一模塊的訓練，得到優化的第一模塊；

其中，進行第一模塊的訓練，所采用的損失函數L為：

其中，N為樣本個數，D_n為第n個樣本對中兩個視頻的融合特征向量的歐氏距離，Y為兩個樣本是否匹配的標簽，m為預設閾值；

基于所述優化的第一模塊、第二模塊和分類器構建新的對比系統；

基于預設的訓練樣本，固定所述優化的第一模塊的參數，對所述新的對比系統中分類器進行訓練，得到優化的對比系統；其中，對所述新的對比系統中分類器進行訓練，所采用的損失函數為分類的交叉熵損失。

2.根據權利要求1所述的面向壓縮域的視頻內容比對系統，其特征在于，所述特征學習模塊基于權重共享的孿生卷積神經網絡構建。

3.根據權利要求1所述的面向壓縮域的視頻內容比對系統，其特征在于，所述第二模塊獲取L1距離的方法為：

兩個輸入視頻的融合特征向量做按元素的差，獲得對應的L1距離。

4.根據權利要求1所述的面向壓縮域的視頻內容比對系統，其特征在于，所述訓練樣本，其獲取方法為：

基于離線視頻數據庫，按照標注文件對不同視頻中存在的拷貝視頻片段進行視頻裁剪，將按照標注文件裁剪下的相似視頻片段對作為正類樣本，在其他剩余的視頻片段中隨機選取1個視頻，與原視頻構成的對作為負類樣本。

5.一種面向壓縮域的視頻內容比對方法，其特征在于，所述比對方法包括：

獲取待對比視頻對；

對所述待對比視頻對中兩個視頻分別進行部分解碼，抽取視頻壓縮域信息；

通過如權利要求1-4中任一項所述的面向壓縮域的視頻內容比對系統，獲得比對結果。

6.一種存儲裝置，其中存儲有多條程序，其特征在于，所述程序適于由處理器加載并執行以權利要求5所述的面向壓縮域的視頻內容比對方法。

7.一種處理裝置，包括處理器和存儲裝置；處理器，適于執行各條程序；存儲裝置，適于存儲多條程序；其特征在于，所述程序適于由處理器加載并執行以實現權利要求5所述的面向壓縮域的視頻內容比對方法。