[發(fā)明專利]視頻場景相似性分析方法及系統(tǒng)、視頻編解碼方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201710873784.2
• 申請日: 2017-09-25
• 公開（公告）號: CN107657228B
• 公開（公告）日: 2020-08-04
• 發(fā)明（設(shè)計(jì)）人: 葉龍;彭劍民;林秀桃;鐘微;張勤
• 申請（專利權(quán)）人: 中國傳媒大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;H04N19/13;H04N19/186
• 代理公司: 北京鴻元知識產(chǎn)權(quán)代理有限公司 11327
• 代理人: 張超艷;賈霖

本發(fā)明提供視頻場景相似性分析方法及系統(tǒng)、視頻編解碼方法及系統(tǒng)，分析方法包括：從視頻每一個鏡頭中分別選取一幀圖像作為關(guān)鍵幀；提取每一個關(guān)鍵幀的特征向量，構(gòu)建相似度矩陣；根據(jù)相似度矩陣，以吸引度和歸屬度的和作為線性核對各關(guān)鍵幀進(jìn)行聚類，設(shè)定各關(guān)鍵幀的聚類標(biāo)簽。視頻編解碼方法包括上述視頻場景相似性分析方法；將聚為一類的關(guān)鍵幀作為一個GOP壓縮；將關(guān)鍵幀壓縮后在編碼端重建放在幀緩存區(qū)，其余GOP的B幀和P幀通過各自的關(guān)鍵幀索引找到幀緩存區(qū)對應(yīng)的關(guān)鍵幀進(jìn)行幀間預(yù)測編碼；解碼時，先解碼所有關(guān)鍵幀，再根據(jù)聚類標(biāo)簽解碼B幀和P幀。上述方法及系統(tǒng)能夠挖掘非連續(xù)幀以及非連續(xù)GOP之間的相關(guān)性。

技術(shù)領(lǐng)域

本發(fā)明涉及視頻處理技術(shù)領(lǐng)域，更為具體地，涉及一種視頻場景相似性分析方法、視頻編解碼方法、視頻場景相似性分析系統(tǒng)及視頻編解碼系統(tǒng)。

背景技術(shù)

伴隨著近幾年互聯(lián)網(wǎng)產(chǎn)業(yè)飛速發(fā)展，各種多媒體內(nèi)容的載體，像數(shù)字圖像視頻及音頻等也伴隨著呈現(xiàn)出爆炸式的增長，因此如果圖像視頻數(shù)據(jù)不進(jìn)行去冗余壓縮的話，帶寬和存儲必然要承受極大的壓力。傳統(tǒng)的冗余壓縮方法都是對關(guān)鍵幀的幀內(nèi)預(yù)測編碼和連續(xù)幀的幀間預(yù)測編碼，沒有考慮非連續(xù)幀和非連續(xù)GOP(Group of Pictures，畫面組)間的冗余。

在圖像視頻壓縮編碼研究領(lǐng)域里，目前主流的思路大都是基于“預(yù)測-變換-熵編碼”來進(jìn)行拓展和改進(jìn)的。雖然發(fā)展應(yīng)用很成功，但是壓縮效率達(dá)到瓶頸。因此人們開始從圖像視頻內(nèi)容的分析入手，與視頻壓縮技術(shù)相結(jié)合，突破傳統(tǒng)圖像視頻的壓縮技術(shù)瓶。

在2007年，Liu et al.提出了基于圖像修復(fù)技術(shù)的圖像編碼方法，該方法的思想是劃分圖像，將圖像劃分為結(jié)構(gòu)區(qū)域和紋理區(qū)域，利用的是圖像邊緣提取技術(shù)和紋理檢測等分析工具。每一區(qū)域又劃分為三類內(nèi)容：必要內(nèi)容，部分必要內(nèi)容和冗余內(nèi)容。必要的結(jié)構(gòu)信息和紋理信息為必要內(nèi)容，而需要參考必要內(nèi)容來確定梯度變化是否較大則為部分必要內(nèi)容；需要根據(jù)前兩者還原的部分則為冗余部分。對于分出來的不同的內(nèi)容區(qū)域，采用不同的編碼方法，冗余則不用編碼，這樣可以大大提高編碼效率。在該工作的基礎(chǔ)上，Liu etal.將圖像內(nèi)容分析與傳統(tǒng)壓縮編碼方法相結(jié)合，提出了基于邊緣的幀內(nèi)預(yù)測方法，利用圖像邊緣結(jié)構(gòu)信息和拉普拉斯方程描述的圖像局部連續(xù)性，使幀內(nèi)預(yù)測的方向更加自適應(yīng)，而且可以兼容現(xiàn)有的基于塊的圖像和視頻編碼標(biāo)準(zhǔn)。

傳統(tǒng)的視頻編碼系統(tǒng)一般利用的是連續(xù)幀之間的相關(guān)性來去除時間冗余，即使采用多參考幀技術(shù)也只是搜索一個GOP內(nèi)的幀進(jìn)行參考，這樣一來I幀(關(guān)鍵幀)的數(shù)量較大，且沒有考慮I幀之間的相關(guān)性。

發(fā)明內(nèi)容

鑒于上述問題，本發(fā)明的目的是提供一種挖掘非連續(xù)幀以及非連續(xù)GOP之間的相關(guān)性的視頻場景相似性分析方法、視頻編解碼方法、視頻場景相似性分析系統(tǒng)及視頻編解碼系統(tǒng)。

根據(jù)本發(fā)明的一個方面，提供一種視頻場景相似性分析方法，包括：從視頻的每一個鏡頭中分別選取一幀圖像作為所述每一個鏡頭的關(guān)鍵幀；提取每一個關(guān)鍵幀的特征向量，根據(jù)特征向量度量各關(guān)鍵幀之間的相似度，構(gòu)建相似度矩陣；根據(jù)相似度矩陣，以吸引度和歸屬度的和作為線性核對各關(guān)鍵幀進(jìn)行聚類，設(shè)定各關(guān)鍵幀的聚類標(biāo)簽，所述聚類標(biāo)簽采用關(guān)鍵幀對應(yīng)的聚類中心表征，所述吸引度表示從關(guān)鍵幀傳送到其聚類中心的信息，所述歸屬度表示從聚類中心傳送到關(guān)鍵幀的信息。

根據(jù)本發(fā)明的另一個方面，提供一種視頻編解碼方法，包括：上述視頻場景相似性分析方法；將聚為一類的關(guān)鍵幀作為一個GOP壓縮；將關(guān)鍵幀壓縮后在編碼端重建放在幀緩存區(qū)，其余GOP的B幀(雙向差別幀)和P幀(與前一幀的差別幀)通過各自的關(guān)鍵幀索引找到幀緩存區(qū)對應(yīng)的關(guān)鍵幀進(jìn)行幀間預(yù)測編碼；解碼時，先解碼所有關(guān)鍵幀，再根據(jù)聚類標(biāo)簽解碼B幀和P幀。