[發(fā)明專利]一種利用文本進(jìn)行視頻檢索的方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202310276552.4
• 申請(qǐng)日: 2023-03-16
• 公開（公告）號(hào): CN116383439A
• 公開（公告）日: 2023-07-04
• 發(fā)明（設(shè)計(jì)）人: 廖盛斌;張林
• 申請(qǐng)（專利權(quán)）人: 華中師范大學(xué)
• 主分類號(hào): G06F16/783
• 分類號(hào): G06F16/783;G06V10/80;G06V10/74;G06V10/82;G06V20/40;G06N3/08;G06N3/0464
• 代理公司: 武漢東喻專利代理事務(wù)所(普通合伙) 42224
• 代理人: 李佑宏

1.一種利用文本進(jìn)行視頻檢索的方法，其特征在于，包括：

按照預(yù)設(shè)頻率從目標(biāo)視頻中選取關(guān)鍵幀，并利用文本編碼器提取文本數(shù)據(jù)的參考文本特征；

將關(guān)鍵幀和參考文本特征輸入預(yù)設(shè)形變卷積網(wǎng)絡(luò)，利用所述參考文本特征指導(dǎo)所述預(yù)設(shè)形變卷積網(wǎng)絡(luò)生成動(dòng)態(tài)感受野，以提取關(guān)鍵幀的視覺特征；

利用動(dòng)量蒸餾的對(duì)比學(xué)習(xí)方法，維持一個(gè)特征隊(duì)列提供足夠多的負(fù)例樣本，以對(duì)所述視覺特征和所述參考文本特征進(jìn)行特征對(duì)齊；

將對(duì)齊后的視覺特征和參考文本特征輸入模態(tài)融合網(wǎng)絡(luò)，對(duì)選取的所有關(guān)鍵幀進(jìn)行與文本數(shù)據(jù)的相似度排序，并確定相似度最高的目標(biāo)關(guān)鍵幀，作為視頻檢索結(jié)果。

2.根據(jù)權(quán)利要求1所述的利用文本進(jìn)行視頻檢索的方法，其特征在于，按照預(yù)設(shè)頻率從目標(biāo)視頻中提取關(guān)鍵幀，包括：

按照固定間隔選幀和隨機(jī)選幀的方式，提取所有的關(guān)鍵幀；

其中，固定間隔選幀是指按照固定時(shí)間間隔選擇目標(biāo)視頻的關(guān)鍵幀；隨機(jī)選幀是指在每個(gè)進(jìn)行固定間隔選幀的時(shí)間區(qū)間內(nèi)隨機(jī)選取兩幀作為關(guān)鍵幀。

3.根據(jù)權(quán)利要求1所述的利用文本進(jìn)行視頻檢索的方法，其特征在于，所述文本編碼器為Bert網(wǎng)絡(luò)模型的前六層，用于提取文本數(shù)據(jù)的參考文本特征；

所述Bert網(wǎng)絡(luò)模型的前六層的輸入為文本數(shù)據(jù)的詞向量、位置編碼以及語(yǔ)義編碼；所述Bert網(wǎng)絡(luò)模型一共包括12層。

4.根據(jù)權(quán)利要求3所述的利用文本進(jìn)行視頻檢索的方法，其特征在于，所述模態(tài)融合網(wǎng)絡(luò)為Bert網(wǎng)絡(luò)模型的后六層，用于對(duì)關(guān)鍵幀和文本數(shù)據(jù)的相似度進(jìn)行預(yù)測(cè)；

所述Bert網(wǎng)絡(luò)模型的后六層的輸入為對(duì)齊后的視覺特征和參考文本特征。

5.根據(jù)權(quán)利要求4所述的利用文本進(jìn)行視頻檢索的方法，其特征在于，所述預(yù)設(shè)形變卷積網(wǎng)絡(luò)為Resnet-50的結(jié)構(gòu)包括4個(gè)stage，并且在第三個(gè)stage中包括6層卷積；

其中，將第三個(gè)stage中第1，3和5層卷積改成了形變卷積。

6.根據(jù)權(quán)利要求4所述的利用文本進(jìn)行視頻檢索的方法，其特征在于，利用所述參考文本特征指導(dǎo)所述預(yù)設(shè)形變卷積網(wǎng)絡(luò)生成動(dòng)態(tài)感受野，以提取關(guān)鍵幀的視覺特征，包括：

獲取Bert網(wǎng)絡(luò)模型的前六層生成的所述文本數(shù)據(jù)的六個(gè)文本特征，并將每?jī)蓪訉?duì)應(yīng)的文本特征作為一個(gè)參考文本特征；

將所述參考文本特征輸入所述預(yù)設(shè)形變卷積網(wǎng)絡(luò)，以利用形變卷積生成動(dòng)態(tài)感受野。

7.根據(jù)權(quán)利要求1所述的利用文本進(jìn)行視頻檢索的方法，其特征在于，所述目標(biāo)視頻為在學(xué)生教育場(chǎng)景下的活動(dòng)視頻，所述文本數(shù)據(jù)為對(duì)學(xué)生活動(dòng)的描述文本。

8.一種利用文本進(jìn)行視頻檢索的裝置，其特征在于，包括：

獲取模塊，用于按照預(yù)設(shè)頻率從目標(biāo)視頻中選取關(guān)鍵幀，并利用文本編碼器提取文本數(shù)據(jù)的參考文本特征；

形變卷積網(wǎng)絡(luò)指導(dǎo)模塊，用于將關(guān)鍵幀和參考文本特征輸入預(yù)設(shè)形變卷積網(wǎng)絡(luò)，利用所述參考文本特征指導(dǎo)所述預(yù)設(shè)形變卷積網(wǎng)絡(luò)生成動(dòng)態(tài)感受野，以提取關(guān)鍵幀的視覺特征；

特征對(duì)齊模塊，用于利用動(dòng)量蒸餾的對(duì)比學(xué)習(xí)方法，維持一個(gè)特征隊(duì)列提供足夠多的負(fù)例樣本，以對(duì)所述視覺特征和參考文本特征進(jìn)行特征對(duì)齊；

檢索結(jié)果輸出模塊，用于將對(duì)齊后的視覺特征和參考文本特征輸入模態(tài)融合網(wǎng)絡(luò)，對(duì)選取的所有關(guān)鍵幀進(jìn)行與文本數(shù)據(jù)的相似度排序，并確定相似度最高的目標(biāo)關(guān)鍵幀，作為視頻檢索結(jié)果。

9.一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如權(quán)利要求1至7任一項(xiàng)所述利用文本進(jìn)行視頻檢索的方法的步驟。

10.一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至7任一項(xiàng)所述利用文本進(jìn)行視頻檢索的方法的步驟。