[發(fā)明專利]一種基于多視覺(jué)專家知識(shí)蒸餾的侵權(quán)視頻檢索方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202210529260.2
• 申請(qǐng)日: 2022-05-16
• 公開(kāi)（公告）號(hào): CN114625924B
• 公開(kāi)（公告）日: 2022-08-26
• 發(fā)明（設(shè)計(jì)）人: 紀(jì)守領(lǐng);馬哲;董建鋒;劉豐豪;張旭鴻;蒲譽(yù)文;陳建海;楊星
• 申請(qǐng)（專利權(quán)）人: 浙江大學(xué)
• 主分類號(hào): G06F16/783
• 分類號(hào): G06F16/783;G06F16/71;G06V20/40;G06V10/74;G06V10/774;G06V10/80;G06V10/82;G06N3/04;G06N3/08;G06K9/62
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 鄭海峰

本發(fā)明公開(kāi)了一種基于多視覺(jué)專家知識(shí)蒸餾的侵權(quán)視頻檢索方法及系統(tǒng)，屬于侵權(quán)視頻檢索技術(shù)領(lǐng)域。該方法包括：首先通過(guò)預(yù)訓(xùn)練的視覺(jué)模型獲取視頻的初始特征，然后通過(guò)在目標(biāo)數(shù)據(jù)集上對(duì)視頻的初始特征進(jìn)行編碼訓(xùn)練，得到具有更強(qiáng)任務(wù)適應(yīng)性的視頻特征表示。接著設(shè)計(jì)知識(shí)融合方法將多種基礎(chǔ)檢索模型的知識(shí)進(jìn)行融合，融合后的知識(shí)通過(guò)知識(shí)蒸餾的方式遷移到蒸餾檢索模型中。最終得到的融合了多位專家知識(shí)的蒸餾檢索模型具有更高的計(jì)算效率和更加優(yōu)越的性能。本發(fā)明利用深度學(xué)習(xí)技術(shù)和知識(shí)蒸餾技術(shù)，能夠?qū)崿F(xiàn)高效魯棒的侵權(quán)視頻檢索，在很大程度上提高了侵權(quán)視頻檢索的性能和效率。

技術(shù)領(lǐng)域

本發(fā)明涉及侵權(quán)視頻檢索技術(shù)領(lǐng)域，尤其涉及一種基于多視覺(jué)專家知識(shí)蒸餾的侵權(quán)視頻檢索方法及系統(tǒng)。

背景技術(shù)

近年來(lái)，由于互聯(lián)網(wǎng)和移動(dòng)智能設(shè)備的普及以及通信和社交媒體技術(shù)的迅速發(fā)展，以騰訊視頻、優(yōu)酷、愛(ài)奇藝為代表的綜合視頻內(nèi)容平臺(tái)、以及以抖音、快手為代表的短視頻分享平臺(tái)的流行，海量的網(wǎng)絡(luò)視頻數(shù)據(jù)被創(chuàng)造、上傳至互聯(lián)網(wǎng)上。

隨著5G技術(shù)的不斷普及與應(yīng)用，其更快的傳輸速度、更大的帶寬和更低的時(shí)延等特點(diǎn)，將會(huì)進(jìn)一步的加快視頻數(shù)據(jù)的增長(zhǎng)，未來(lái)互聯(lián)網(wǎng)上的視頻數(shù)據(jù)存儲(chǔ)量將會(huì)非常巨大。

網(wǎng)絡(luò)視頻產(chǎn)業(yè)尤其是短視頻產(chǎn)業(yè)的快速發(fā)展，用戶規(guī)模持續(xù)增長(zhǎng)，帶動(dòng)對(duì)內(nèi)容的需求迅速上升。

大量網(wǎng)絡(luò)視頻用戶在未經(jīng)授權(quán)的情況下免費(fèi)搬運(yùn)、傳播并獲利，造成了嚴(yán)重的版權(quán)問(wèn)題。

面對(duì)如此龐大的視頻數(shù)據(jù)，如何利用技術(shù)手段，應(yīng)對(duì)實(shí)際中的視頻版權(quán)保護(hù)問(wèn)題，實(shí)現(xiàn)高效率、準(zhǔn)確和實(shí)用的視頻侵權(quán)檢測(cè)是一個(gè)艱巨的挑戰(zhàn)，亟需一種有效的視頻侵權(quán)檢索技術(shù)。

侵權(quán)視頻檢索技術(shù)主要通過(guò)計(jì)算視頻與視頻的相似度，在數(shù)據(jù)庫(kù)中搜索與查詢視頻相似度較高的視頻，其核心是計(jì)算視頻和視頻的相似度。

現(xiàn)有的侵權(quán)視頻檢索方法主要基于現(xiàn)有的某種視覺(jué)特征方法，抽取視頻中各幀的視覺(jué)特征，并在此基礎(chǔ)上設(shè)計(jì)幀特征融合模型來(lái)計(jì)算視頻間的相似度。

現(xiàn)有檢索技術(shù)主要存在以下不足：

（1）侵權(quán)視頻相比于原視頻往往遭受了復(fù)雜的視頻編輯操作，使得現(xiàn)有的視覺(jué)特征方法在實(shí)際的視頻數(shù)據(jù)上魯棒性較差；

（2）現(xiàn)有檢索方法缺少對(duì)采用的視覺(jué)特征方法的關(guān)注，著重于設(shè)計(jì)特征融合方法，沒(méi)有認(rèn)識(shí)到不同視覺(jué)特征方法間的互補(bǔ)性，性能欠佳；

（3）現(xiàn)有檢索方法計(jì)算量大、特征維度高、特征存儲(chǔ)代價(jià)高。

從多視覺(jué)專家知識(shí)蒸餾的角度嘗試侵權(quán)視頻檢索，能夠有效緩解現(xiàn)有方法不足。

發(fā)明內(nèi)容

本發(fā)明針對(duì)現(xiàn)有技術(shù)的不足，提出了一種基于多視覺(jué)專家知識(shí)蒸餾的侵權(quán)視頻檢索方法及系統(tǒng)，采用知識(shí)蒸餾的方式將多種視覺(jué)專家模型融合為單一的學(xué)生模型，學(xué)生模型在性能上優(yōu)于任何單一的專家模型，并將計(jì)算效率限制在單模型的復(fù)雜度下，實(shí)現(xiàn)了高效魯棒的侵權(quán)視頻檢索。

本發(fā)明采用如下技術(shù)方案：

本發(fā)明的第一個(gè)目的在于提供一種基于多視覺(jué)專家知識(shí)蒸餾的侵權(quán)視頻檢索方法，包括以下步驟：

步驟1：構(gòu)建多個(gè)預(yù)訓(xùn)練的視覺(jué)專家模型，利用預(yù)訓(xùn)練的多視覺(jué)專家模型分別對(duì)視頻進(jìn)行特征抽取，獲得視頻的幀級(jí)初始特征；

步驟2：利用多個(gè)基礎(chǔ)檢索模型對(duì)視頻的幀級(jí)初始特征進(jìn)行編碼，獲得幀級(jí)編碼特征表示，并通過(guò)時(shí)序平均池化計(jì)算視頻級(jí)特征；

步驟3：構(gòu)造訓(xùn)練數(shù)據(jù)集，提取訓(xùn)練數(shù)據(jù)的視頻級(jí)特征，采用對(duì)比學(xué)習(xí)方法對(duì)所述的多個(gè)基礎(chǔ)檢索模型進(jìn)行訓(xùn)練，根據(jù)每一個(gè)訓(xùn)練好的基礎(chǔ)檢索模型得到一個(gè)相似度度量函數(shù)，取多個(gè)相似度度量函數(shù)的均值作為融合的專家知識(shí)；

步驟4：構(gòu)建蒸餾檢索模型，并通過(guò)訓(xùn)練將融合的專家知識(shí)蒸餾到蒸餾檢索模型中；