[發(fā)明專利]一種基于多模態(tài)特征的電視廣告片花自動(dòng)檢測(cè)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201310632893.7
• 申請(qǐng)日: 2013-11-29
• 公開（公告）號(hào): CN103617263A
• 公開（公告）日: 2014-03-05
• 發(fā)明（設(shè)計(jì)）人: 李騰;王妍
• 申請(qǐng)（專利權(quán)）人: 安徽大學(xué)
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30;H04N21/454
• 代理公司: 常州市維益專利事務(wù)所 32211
• 代理人: 王凌霄

技術(shù)領(lǐng)域

本發(fā)明涉及視頻智能分析的領(lǐng)域，尤其是一種基于多模態(tài)特征的電視廣告片花自動(dòng)檢測(cè)方法，可以實(shí)現(xiàn)重復(fù)段檢測(cè)、音頻匹配和視覺匹配相集合。

背景技術(shù)

隨著因特網(wǎng)和傳統(tǒng)媒體的迅速發(fā)展,數(shù)字化媒體正逐漸成為人們工作生活中的不可或缺的重要信息載體。而廣告作為一種極其重要的商業(yè)手段是數(shù)字化媒體應(yīng)用的重要組成部分,隨著人們生活水平的提高,電視媒體作為一種娛樂方式,也在不斷豐富中。商家為了其產(chǎn)品有更廣泛的影響力和知名度,越來越多地在電視節(jié)目中投放和產(chǎn)品有關(guān)的廣告,尤其在黃金時(shí)間和熱播節(jié)目中間,廣告片斷層出不窮,但是對(duì)于廣大電視觀眾,卻不能流暢完整地觀看電視節(jié)目。所以,對(duì)于電視節(jié)目中的廣告,商家需要知道其投放的廣告是否正常播放,而普通電視觀眾為了觀看或者收藏完整的節(jié)目視頻,希望將其中的廣告部分去除。因此,對(duì)電視節(jié)目的廣告進(jìn)行自動(dòng)監(jiān)測(cè)成為不同用戶的共同追求。

對(duì)電視視頻流中的廣告片花檢測(cè)或識(shí)別的方法有兩大類型：1）有監(jiān)督學(xué)習(xí)的，需要首先收集一批廣告片花片段的視頻數(shù)據(jù)，然后通過訓(xùn)練識(shí)別或模板匹配對(duì)新的視頻流進(jìn)行識(shí)別檢測(cè)，這種方法需要首先收集大量的電視廣告數(shù)據(jù)；2）無監(jiān)督方法，利用電視廣告片花重復(fù)性播放的特點(diǎn)，對(duì)多天的電視視頻節(jié)目進(jìn)行重復(fù)片段的檢測(cè)，作為廣告片花片段候選，這種方法不需要事先收集電視廣告片花數(shù)據(jù)，而且可以為第1）種方法提供訓(xùn)練數(shù)據(jù)。

基于無監(jiān)督方法，即重復(fù)片段檢測(cè)的廣告片花自動(dòng)監(jiān)測(cè)包括三個(gè)方面的內(nèi)容：1）特征提取和索引；2）重復(fù)段的檢出；3）檢出片段的優(yōu)化，包括重復(fù)性片段的排除、邊界細(xì)化等。而主要實(shí)用問題有兩個(gè)方面：1）電視視頻數(shù)據(jù)量很大，多個(gè)電視臺(tái)每天24小時(shí)的數(shù)據(jù)，實(shí)用系統(tǒng)實(shí)現(xiàn)要求高效率快速；2）廣告片花片段檢測(cè)結(jié)果的準(zhǔn)確性，包括邊界的準(zhǔn)確性。

現(xiàn)有技術(shù)一的技術(shù)方案：基于學(xué)習(xí)的廣告識(shí)別：收集一批廣告視頻段作為訓(xùn)練數(shù)據(jù)，以鏡頭單位，并考慮前后的上下文鏡頭信息，提取音頻、視覺一系列特征，用SVM訓(xùn)練分類器，對(duì)測(cè)試視頻數(shù)據(jù)同樣提取特征，并對(duì)每一個(gè)鏡頭進(jìn)行識(shí)別判斷是不是廣告，其存在缺點(diǎn)（1）需要預(yù)先準(zhǔn)備訓(xùn)練數(shù)據(jù)，使用不方便；（2）識(shí)別計(jì)算比較耗時(shí)，效率不高。

現(xiàn)有技術(shù)二的技術(shù)方案：電視視頻中的無監(jiān)督的重復(fù)性片段檢測(cè)：對(duì)電視視頻分段提取音頻和視覺特征，并同時(shí)結(jié)合利用它們進(jìn)行聚類，從而發(fā)現(xiàn)類似的視頻片段，其存在缺點(diǎn)（1）同時(shí)提取使用音視頻特征，沒能很好地利用音頻處理速度快而視頻相對(duì)準(zhǔn)確性高的特點(diǎn)，處理大量數(shù)據(jù)時(shí)效率不高，并且結(jié)果準(zhǔn)確性欠佳；（2）對(duì)結(jié)果沒有進(jìn)行廣告片花邊界點(diǎn)的細(xì)化查找，沒有后處理。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問題是：為了克服上述中存在的問題，提供一種基于多模態(tài)特征的電視廣告片花自動(dòng)檢測(cè)方法，使其能夠無監(jiān)督地高效準(zhǔn)確地自動(dòng)從電視節(jié)目視頻流中檢測(cè)出廣告片花片段。

本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是：一種基于多模態(tài)特征的電視廣告片花自動(dòng)檢測(cè)方法，具體步驟如下：

a.選取一天24小時(shí)或多天的電視視頻數(shù)據(jù)，將電視視頻數(shù)據(jù)分割為鏡頭單元，利用分幀提取其音頻指紋特征和鏡頭關(guān)鍵幀視覺特征；

b.對(duì)a中提取的音頻指紋特征做基于k-d樹的方法的索引；

c.對(duì)a中電視視頻數(shù)據(jù)的逐個(gè)小段在索引中查找視頻其它位置處相似的地方，作為相同節(jié)目段的候選；

d.對(duì)c步驟通過音頻比對(duì)獲得的視頻匹配段候選，使用視覺特征進(jìn)行匹配驗(yàn)證；

e.對(duì)通過d步驟驗(yàn)證的片段，細(xì)化匹配搜索其邊界點(diǎn)，即起點(diǎn)和終點(diǎn)；

f.對(duì)e步驟產(chǎn)生的很多視頻片段匹配對(duì)的結(jié)果，進(jìn)行后處理，排除時(shí)間或內(nèi)容重復(fù)性片段；

g.對(duì)f步驟的結(jié)果視頻段，再進(jìn)一步利用特征識(shí)別判斷是否是廣告片花；

h.對(duì)g步驟的判斷結(jié)束后，最后輸出結(jié)果

本發(fā)明的有益效果是，本發(fā)明的一種基于多模態(tài)特征的電視廣告片花自動(dòng)檢測(cè)方法，

（1）自動(dòng)廣告片花片段高效準(zhǔn)確自動(dòng)發(fā)現(xiàn)：音頻特征匹配速度快，但視頻幀圖像特征匹配準(zhǔn)確性要高，所以采用先基于音頻獲取候選片段，再用視覺特征對(duì)候選片段進(jìn)行過濾、邊界確定等后處理，既保證準(zhǔn)確性，又效率很高；

（2）無監(jiān)督的廣告片花片段自動(dòng)發(fā)現(xiàn)方式:通過重復(fù)段的檢測(cè)，基于重復(fù)出現(xiàn)的原則，發(fā)現(xiàn)可能的廣告和節(jié)目片花片段，不需要事先收集一批廣告片花的訓(xùn)練數(shù)據(jù)，使用方便；

（3）后處理排除冗余結(jié)果：廣告或片花片段會(huì)在電視視頻流里面重復(fù)出現(xiàn)多次，并存在著同一個(gè)廣告長(zhǎng)短版本不同的情況，通過后處理，排除重復(fù)性的結(jié)果，并保留不同版本的廣告或片花。

附圖說明