[發(fā)明專(zhuān)利]面向壓縮域的視頻內(nèi)容比對(duì)系統(tǒng)、優(yōu)化方法、比對(duì)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011086137.5
• 申請(qǐng)日: 2020-10-12
• 公開(kāi)（公告）號(hào): CN112215908B
• 公開(kāi)（公告）日: 2022-12-02
• 發(fā)明（設(shè)計(jì)）人: 李揚(yáng)曦;繆亞男;袁慶升;胡衛(wèi)明;李兵;劉雨帆;胡賽軍
• 申請(qǐng)（專(zhuān)利權(quán)）人: 國(guó)家計(jì)算機(jī)網(wǎng)絡(luò)與信息安全管理中心;中國(guó)科學(xué)院自動(dòng)化研究所
• 主分類(lèi)號(hào): G06T9/00
• 分類(lèi)號(hào): G06T9/00;G06V10/80;G06V10/764;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京市恒有知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11576
• 代理人: 郭文浩;尹文會(huì)

本發(fā)明屬于計(jì)算機(jī)視覺(jué)領(lǐng)域，具體涉及一種面向壓縮域的視頻內(nèi)容比對(duì)系統(tǒng)、優(yōu)化方法、比對(duì)方法，旨在為了解決使用全解碼信息完成視頻內(nèi)容比對(duì)效率不高的問(wèn)題。本發(fā)明比對(duì)系統(tǒng)包括：特征學(xué)習(xí)模塊，基于輸入視頻的多種壓縮域信息，分別獲取多種模態(tài)的特征圖；多模態(tài)壓縮域信息融合模塊，對(duì)所述特征學(xué)習(xí)模塊輸出的多種模態(tài)的特征圖進(jìn)行信息融合，得到所述輸入視頻的融合特征向量；第二模塊，配置為獲取兩個(gè)輸入視頻的融合特征向量的L1距離；分類(lèi)器為二分類(lèi)網(wǎng)絡(luò)，配置為基于所述第二模塊輸出的L1距離進(jìn)行比對(duì)結(jié)果的二分類(lèi)。本發(fā)明可以有效地提取視頻內(nèi)容的高層語(yǔ)義信息，保證了視頻內(nèi)容的比對(duì)高速度和高性能。

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)視覺(jué)領(lǐng)域，具體涉及一種面向壓縮域的視頻內(nèi)容比對(duì)系統(tǒng)、優(yōu)化方法、比對(duì)方法。

背景技術(shù)

在基于內(nèi)容的視頻理解系統(tǒng)中，通常需要對(duì)大量視頻進(jìn)行處理。目前互聯(lián)網(wǎng)視頻流量99％以上都是H264、H265等編碼標(biāo)準(zhǔn)，編碼后的視頻，體積大幅減少數(shù)十至百倍以上，但視頻里的圖像信息亦轉(zhuǎn)為間接信息，需要解碼才能恢復(fù)為組成視頻的圖像幀信息。現(xiàn)在的視頻識(shí)別、對(duì)比、檢索等算法或系統(tǒng)，幾乎都需要先將視頻解碼成圖像幀，然后在圖像序列上進(jìn)行處理和分析。但是，視頻解碼是非常消耗計(jì)算資源且耗時(shí)的，這無(wú)疑將極大影響各類(lèi)應(yīng)用系統(tǒng)的實(shí)用性和靈活性，特別是對(duì)一些的視頻檢索，比對(duì)應(yīng)用系統(tǒng)和要求實(shí)時(shí)性處理的場(chǎng)合。

于是研究面向壓縮域，在部分解碼的條件下進(jìn)行視頻內(nèi)容理解、比對(duì)和識(shí)別方案是亟待解決的問(wèn)題。與常規(guī)視頻處理方法不同，面向壓縮域的視頻比對(duì)方法需直接在不解碼或者盡量少解碼的壓縮數(shù)據(jù)上進(jìn)行，省略解壓縮和再壓縮的附加環(huán)節(jié)，從而大大減少系統(tǒng)總體處理時(shí)間。以視頻內(nèi)容對(duì)比任務(wù)為代表，如何發(fā)揮視頻壓縮域信息的高效性和粗糙性的特點(diǎn)，設(shè)計(jì)合適的網(wǎng)絡(luò)結(jié)構(gòu)，高效的完成視頻內(nèi)容理解的任務(wù)是需要解決的技術(shù)問(wèn)題。

發(fā)明內(nèi)容

為了解決現(xiàn)有技術(shù)中的上述問(wèn)題，即為了解決使用視頻全解碼信息完成視頻內(nèi)容比對(duì)效率不高的問(wèn)題，本發(fā)明的第一方面提出了一種面向壓縮域的視頻內(nèi)容比對(duì)系統(tǒng)，包括順次連接的第一模塊、第二模塊、分類(lèi)器；

所述第一模塊包括特征學(xué)習(xí)模塊、多模態(tài)壓縮域信息融合模塊；所述特征學(xué)習(xí)模塊，配置為基于輸入視頻的多種壓縮域信息，分別獲取多種模態(tài)的特征圖；所述多模態(tài)壓縮域信息融合模塊，配置為對(duì)所述特征學(xué)習(xí)模塊輸出的多種模態(tài)的特征圖進(jìn)行信息融合，得到所述輸入視頻的融合特征向量；

所述第二模塊，配置為獲取兩個(gè)輸入視頻的融合特征向量的L1距離；

所述分類(lèi)器為二分類(lèi)網(wǎng)絡(luò)，配置為基于所述第二模塊輸出的L1距離進(jìn)行比對(duì)結(jié)果的二分類(lèi)。

在一些優(yōu)選的實(shí)施方式中，所述特征學(xué)習(xí)模塊基于權(quán)重共享的孿生卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建。

在一些優(yōu)選的實(shí)施方式中，所述第二模塊獲取L1距離的方法為：

兩個(gè)輸入視頻的融合特征向量做按元素的差，獲得對(duì)應(yīng)的L1距離。

本發(fā)明的第二方面，提出了一種面向壓縮域的視頻內(nèi)容比對(duì)系統(tǒng)的優(yōu)化方法，用于上述面向壓縮域的視頻內(nèi)容比對(duì)系統(tǒng)的優(yōu)化，其方法包括：

基于預(yù)設(shè)的訓(xùn)練樣本，進(jìn)行第一模塊的訓(xùn)練，得到優(yōu)化的第一模塊；

基于所述優(yōu)化的第一模塊、第二模塊、分類(lèi)器構(gòu)建新的對(duì)比系統(tǒng)；

基于預(yù)設(shè)的訓(xùn)練樣本，固定所述優(yōu)化的第一模塊的參數(shù)，對(duì)所述新的對(duì)比系統(tǒng)中分類(lèi)器進(jìn)行訓(xùn)練，得到優(yōu)化的對(duì)比系統(tǒng)。

在一些優(yōu)選的實(shí)施方式中，“進(jìn)行第一模塊的訓(xùn)練”，所采用的損失函數(shù)L為

其中，N為樣本個(gè)數(shù)，D_n為第n個(gè)樣本對(duì)中兩個(gè)視頻的融合特征向量的歐氏距離，Y為兩個(gè)樣本是否匹配的標(biāo)簽，m為預(yù)設(shè)閾值。