[發明專利]特征編碼器訓練方法、裝置和系統以及同源視頻查詢方法

在審

• 申請號: 202011137861.6
• 申請日: 2020-10-22
• 公開（公告）號: CN114385857A
• 公開（公告）日: 2022-04-22
• 發明（設計）人: 潘玉霖;呂逸良;韓振;唐銘謙
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F16/783
• 分類號: G06F16/783;G06F16/738;G06N3/04;G06N3/08
• 代理公司: 北京清源匯知識產權代理事務所(特殊普通合伙) 11644
• 代理人: 張艷梅;馮德魁

本申請公開了一種特征編碼器訓練方法，包括：獲得待處理的視頻；從至少一個待處理的視頻中選取兩個視頻片段，所述兩個視頻片段在時間軸上至少部分重合；兩個視頻片段包括第一視頻片段和第二視頻片段；對所述第二視頻片段采用預先設置的圖像編輯方式進行圖像編輯處理，得到編輯處理后的與所述第二視頻片段相似的第二目標視頻片段；將第一視頻片段和第二目標視頻片段包含的所有幀，輸入幀特征編碼器，得到幀特征向量；根據所述幀特征向量訓練幀特征編碼器，得到目標幀特征編碼器。采用上述方法，以解決現有技術存在的特征編碼器對復雜的圖像編輯方式的魯棒性不夠強以及限制檢索性能的問題。

技術領域

本申請涉及計算機技術領域，具體涉及一種特征編碼器訓練方法、裝置、電子設備及存儲設備。本申請還涉及一種同源視頻查詢方法和同源視頻查詢裝置。本申請還涉及一種特征編碼器訓練系統。

背景技術

目前在互聯網上，視頻文件經常都會被拷貝并共享，可能存在著大量的抄襲/拷貝的視頻片段。為了對視頻文件進行版權保護，需要確定哪些視頻文件或視頻片段侵權。當在待檢索的視頻中檢索查詢視頻的抄襲/拷貝的視頻片段時，通常采用視頻指紋(即視頻文件或視頻片段的特征向量)技術。視頻指紋是一個新興的識別視頻的技術，能夠產生唯一的“指紋”來代表一個視頻文件或視頻片段。根據視頻指紋從檢索底庫中確定查詢視頻的抄襲/拷貝的視頻片段時，需要對視頻進行特征編碼生成待檢索視頻的視頻指紋和查詢視頻的視頻指紋。

現有技術下，在對視頻進行特征編碼生成視頻指紋時，通常采用的編碼器是傳統的DCT(Discrete Cosine Transform，離散余弦變換)編碼或者是ImageNet PretrainedModel(ImageNet預訓練模型)，這兩種編碼器的泛用性比較強，但是沒有考慮在視頻指紋場景下的一些特定需求。例如，對圖片按照一定的圖像編輯方式(例如對圖片進行縮放、裁剪、畫中畫等等)進行編輯加工生成的新圖片，依然屬于抄襲/拷貝圖片，這些新圖片應當與原始圖片具有近可能相似的語義信息，而這兩種編碼器對這些編輯圖像編輯方式的魯棒性不夠強，因此在根據原始圖片檢索抄襲/拷貝圖片時，通過復雜人工編輯方式編輯的圖像不易被檢索到，進而限制了最終的檢索性能。

發明內容

本申請提供一種特征編碼器訓練方法、裝置、電子設備及存儲設備，以解決現有技術存在的特征編碼器對復雜的圖像編輯方式的魯棒性不夠強以及限制檢索性能的問題。

第一方面，本申請提供一種特征編碼器訓練方法，包括：

獲得待處理的視頻；

從至少一個待處理的視頻中選取兩個視頻片段，所述兩個視頻片段在時間軸上至少部分重合；兩個視頻片段包括第一視頻片段和第二視頻片段；

對所述第二視頻片段采用預先設置的圖像編輯方式進行圖像編輯處理，得到編輯處理后的與所述第二視頻片段相似的第二目標視頻片段；

將第一視頻片段和第二目標視頻片段包含的所有幀，輸入幀特征編碼器，得到幀特征向量；

根據所述幀特征向量訓練幀特征編碼器，得到目標幀特征編碼器。

可選的，還包括：

將所有幀特征向量進行分片段處理，得到片段包含的幀特征向量；

將每個片段包含的幀特征向量輸入片段特征編碼器進行處理，得到片段特征向量；

根據所述片段特征向量訓練片段特征編碼器，得到目標片段特征編碼器。

可選的，所述將所有幀特征向量進行分片段處理，得到片段包含的幀特征向量，包括：

將所有幀特征向量按照預設的時間間隔進行分片段處理，得到片段包含的幀特征向量。

可選的，所述根據所述幀特征向量訓練幀特征編碼器，得到目標幀特征編碼器，包括：