[發(fā)明專利]一種用于視頻質(zhì)量評價的關(guān)鍵幀的選取方法

無效

• 申請?zhí)枺?/td>: 201010609119.0
• 申請日: 2010-12-17
• 公開（公告）號: CN102572502A
• 公開（公告）日: 2012-07-11
• 發(fā)明（設(shè)計）人: 杜海清;劉勇;許克輝;胡文;李湘平
• 申請（專利權(quán)）人: 北京東方文駿軟件科技有限責(zé)任公司;北京郵電大學(xué)
• 主分類號: H04N17/00
• 分類號: H04N17/00;H04N17/02;H04N11/06
• 代理公司: 北京德琦知識產(chǎn)權(quán)代理有限公司 11018
• 代理人: 夏憲富

技術(shù)領(lǐng)域

本發(fā)明涉及一種選取視頻圖像關(guān)鍵幀的方法，確切地說，涉及一種用于視頻質(zhì)量評價的、基于視頻運動特征和人眼視覺興趣的關(guān)鍵幀的選取方法，屬于多媒體通信的技術(shù)領(lǐng)域。

背景技術(shù)

多媒體通信領(lǐng)域中，視頻圖像信息處理技術(shù)始終是研究的重點。在實際應(yīng)用中，視頻圖像的質(zhì)量好壞是評價多媒體通信系統(tǒng)的一項不可或缺的重要指標(biāo)。隨著多媒體業(yè)務(wù)的快速發(fā)展，如何正確、有效地評價視頻圖像的質(zhì)量已經(jīng)成為一個研究熱點。現(xiàn)有的視頻質(zhì)量評價方法往往是選取單幀圖像評價質(zhì)量的平均值作為評價結(jié)果，這種方法的缺點是沒有考慮視頻圖像中的運動信息的影響，不能與人的實際主觀觀察到的圖像質(zhì)量實現(xiàn)很好的吻合。

目前，業(yè)界更傾向于選擇關(guān)鍵幀來評價視頻圖像序列質(zhì)量，這樣，既降低了對視頻進(jìn)行逐幀評價的運算復(fù)雜度，還能夠較好地保證視頻質(zhì)量評價的準(zhǔn)確度。所謂關(guān)鍵幀是在每個場景視頻中具有代表性和能夠反映這個鏡頭內(nèi)容梗概的圖像，關(guān)鍵幀能夠有效表示視頻節(jié)目的主題與內(nèi)容及其共同特征。如何選取關(guān)鍵幀是基于內(nèi)容的視頻檢索、視頻傳輸、乃至視頻編碼等技術(shù)領(lǐng)域急需解決的重要問題之一，也是多媒體通信領(lǐng)域研究的一個熱點。

近年來，隨著關(guān)鍵幀的檢測與選取技術(shù)的發(fā)展，已形成了多種方法，例如：

基于運動分析選取關(guān)鍵幀：該方法通過光流分析計算鏡頭中的對象運動能量，在該對象的運動能量局部最小處選取關(guān)鍵幀。

基于內(nèi)容分析選取關(guān)鍵幀：該方法原來是利用視頻中每幀圖像的顏色、紋理等視覺信息的改變來選取關(guān)鍵幀，現(xiàn)在是針對序列中的運動物體選取關(guān)鍵幀。

基于聚類選取關(guān)鍵幀：該方法是對所有圖像進(jìn)行聚類后，選取各類中離聚類中心距離最小的圖像作為關(guān)鍵幀。

但在實際評價視頻質(zhì)量時，往往基于數(shù)據(jù)量應(yīng)盡可能少和計算不宜太復(fù)雜的考慮，因此，事實上，真正能夠使用選取關(guān)鍵幀的方法還是下述兩種方法。

1、按照時間間隔平均抽取關(guān)鍵幀：該方法在抽取設(shè)定比例的關(guān)鍵幀時，僅僅計算兩個關(guān)鍵幀之間的圖像間隔平均數(shù)，然后就以該設(shè)定的圖像間隔或時間間隔的平均數(shù)抽取相應(yīng)圖像作為關(guān)鍵幀。該方法操作簡單，但是，它沒有考慮實際場景中的內(nèi)容變化，也就無法準(zhǔn)確反映影響視頻質(zhì)量的關(guān)鍵信息，因此，無法與人的主觀感受相匹配。因此，在視頻質(zhì)量評價應(yīng)用中不推薦使用該方法。

2、基于視頻壓縮域選取關(guān)鍵幀：該方法直接根據(jù)視頻編碼數(shù)據(jù)流中的離散余弦變換的直流系數(shù)和位移矢量MV(Motion?Vector)來選取關(guān)鍵幀。

很多視頻編碼技術(shù)標(biāo)準(zhǔn)(如H.264、MPEG-4等)都采用了運動預(yù)測與補償技術(shù)。運動預(yù)測與補償技術(shù)是在上一幀圖像中搜索與當(dāng)前幀的圖像塊最匹配的圖像塊位置，然后用運動矢量描述這兩個圖像塊之間的偏移。因此，運動矢量的模用于描述當(dāng)前圖像塊的活動性強度，第k幀中的第(i，j)個圖像塊的運動矢量(dx_k，dy_k)活動性強度計算公式為：式中，自然數(shù)k、i、j分別是幀的序號和圖像塊在幀中的橫坐標(biāo)與縱坐標(biāo)。相應(yīng)地，每幅圖像幀的活動性強度是其全部圖像塊活動性強度的平均值，故每幅圖像幀的活動性強度的計算公式為：式中，N_MB是該幀圖像中的圖像塊數(shù)量。

由于每個圖像塊的前后運動矢量中都蘊含了大量的幀間差信息，利用這些幀間差信息，再配合一些輔助參數(shù)，就可以比較準(zhǔn)確地獲知當(dāng)前幀與其相鄰幀的相似度，從而實現(xiàn)對壓縮域的視頻關(guān)鍵幀的快速選取。例如，某視頻序列在其MV_k(k＝1，…，N)曲線上共選擇有6個拐點(參見圖1所示)，選取相應(yīng)位置的6個關(guān)鍵幀就能夠近似反映整個視頻序列的相關(guān)內(nèi)容。

由上述分析可知，第二種基于視頻壓縮域選取關(guān)鍵幀方法的基礎(chǔ)是比較精確的運動估計算法，該方法能夠較準(zhǔn)確地選取反映視頻圖像與內(nèi)容的關(guān)鍵幀，但是，缺點是其獨立性差、運算復(fù)雜度較高。