[發明專利]一種查找相似視頻片段的方法、系統、服務器及存儲介質

有效

• 申請號: 202011157679.7
• 申請日: 2020-10-26
• 公開（公告）號: CN112434185B
• 公開（公告）日: 2023-07-14
• 發明（設計）人: 余英;常江;宮良;夏泳;黨海飛;易鵬;劉駿;曹志;韋安明;李忠炤;韓凱;肖輝;劉文翰;丁正華;高楊;薛靜宜
• 申請（專利權）人: 國家廣播電視總局廣播電視規劃院;北京中廣恒通科技有限公司
• 主分類號: G06F16/783
• 分類號: G06F16/783;G06F16/732;G06V10/74;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 北京博雅睿泉專利代理事務所(特殊普通合伙) 11442
• 代理人: 吳秀娥

1.一種查找相似視頻片段的方法，用于對比視頻中查找與待測視頻中相似的連續視頻片段，其特征在于，包括：

S1，通過預先建立的素材庫中的圖片及名稱對卷積神經網絡系統進行訓練，通過識別圖片中面積最大的物體來確定圖片中的物體和名稱，以識別圖片中的物體；

S2，獲取待測視頻通過抽幀方式形成的第一圖片序列；所述待測視頻和對比視頻的時間長度不同；

S3，通過訓練后的卷積神經網絡系統來識別所述第一圖片序列中的物體，以得到用來標識物體的第一特征碼；

S4，獲取對比視頻預先通過抽幀形成的第二圖片序列并對其進行識別和標識的第二特征碼；

S5，通過逐幀滑動的方式，對所述第一特征碼與所述第二特征碼進行對比，找出相似的連續視頻片段；

當第一特征碼中任意連續長度的特征碼，與第二特征碼中對應長度的特征碼的相同比例超過預設的第二相似度閾值時，則該待測視頻中的連續視頻片段與對比視頻中對應長度的連續視頻片段相似；

S6，對所述待測視頻中相似的連續視頻片段中的每幀圖片進行灰度縮略圖計算，以得到多個灰度縮略圖數據；從對比視頻中獲取預先計算出的相似的連續視頻片段中任意一幀圖片的第一灰度縮略圖數據；

兩張圖片x和y的結構相似性SSIM(x,y)計算按照如下公式求出：

其中，μ_x是x的平均值，μ_y是y的平均值，是x的方差，是y的方差，σ_xy是x和y的協方差；c₁＝(k₁L)²，c₂＝(k₂L)²是用來維持穩定的常數；L是像素值的動態范圍；k₁＝0.01，k₂＝0.03；

S7，將所述第一灰度縮略圖數據分別與多個灰度縮略圖數據進行結構相似性計算，以得到多個關于兩張圖片的結構相似度值；當任意一個相似度值超過預設的第一相似度閾值時，則認為該相似的連續視頻片段屬于重復片段。

2.一種查找相似視頻片段的系統，用于在對比視頻中查找與待測視頻中相似的視頻片段，其特征在于，包括：

構建單元，通過預先建立的素材庫中的圖片及名稱對卷積神經網絡系統進行訓練，通過識別圖片中面積最大的物體來確定圖片中的物體和名稱，以識別圖片中的物體；

抽取單元，用于獲取待測視頻通過抽幀方式形成的第一圖片序列；所述待測視頻和對比視頻的時間長度不同；

識別單元，用于通過訓練后的卷積神經網絡系統來識別所述第一圖片序列中的物體，以得到用來標識物體的第一特征碼；

以及，獲取對比視頻預先通過抽幀形成的第二圖片序列并對其進行識別和標識的第二特征碼；

第一對比單元，用于通過逐幀滑動的方式，對所述第一特征碼與所述第二特征碼進行對比，找出相似的連續視頻片段；

當第一特征碼中任意連續長度的特征碼，與第二特征碼中對應長度的特征碼的相同比例超過預設的第二相似度閾值時，則該待測視頻中的連續視頻片段與對比視頻中對應長度的連續視頻片段相似；

以及，用于對所述待測視頻中相似的連續視頻片段中的每幀圖片進行灰度縮略圖計算，以得到多個灰度縮略圖數據；從對比視頻中獲取預先計算出的相似的連續視頻片段中任意一幀圖片的第一灰度縮略圖數據；

兩張圖片x和y的結構相似性SSIM(x,y)計算按照如下公式求出：

其中，μ_x是x的平均值，μ_y是y的平均值，是x的方差，是y的方差，σ_xy是x和y的協方差；c₁＝(k₁L)²，c₂＝(k₂L)²是用來維持穩定的常數；L是像素值的動態范圍；k₁＝0.01，k₂＝0.03；

以及，用于將所述第一灰度縮略圖數據分別與多個灰度縮略圖數據進行結構相似性計算，以得到多個關于兩張圖片的結構相似度值；當任意一個相似度值超過預設的第一相似度閾值時，則認為該相似的連續視頻片段屬于重復片段。