[發(fā)明專利]自適應(yīng)的參考圖像抉擇方法

有效

• 申請?zhí)枺?/td>: 201710696790.5
• 申請日: 2017-08-15
• 公開（公告）號: CN107295334B
• 公開（公告）日: 2019-12-03
• 發(fā)明（設(shè)計(jì)）人: 周益民;曾鵬;王宏宇;冷龍韜;黃航
• 申請（專利權(quán)）人: 電子科技大學(xué)
• 主分類號: H04N19/105
• 分類號: H04N19/105;H04N19/176;H04N19/137
• 代理公司: 51226 成都希盛知識產(chǎn)權(quán)代理有限公司
• 代理人: 濮云杉;楊冬梅<國際申請>=<國際公布>

本發(fā)明涉及自適應(yīng)的參考圖像抉擇方法，包括：A.得到編碼圖像中第t幀的參考圖像集合R_Set(t)；B.將時(shí)序?yàn)閗的圖像pic_k作為參考圖像，計(jì)算第i幀在參考pic_k時(shí)消耗的比特?cái)?shù)和pic_k參考價(jià)值；C.獲得各個(gè)時(shí)序圖像的參考價(jià)值，進(jìn)而得到過去連續(xù)w個(gè)圖像的參考價(jià)值集合；D.計(jì)算參考價(jià)值集合中所有w個(gè)參考價(jià)值的均值和方差，并通過均值方差的比值設(shè)置幀間最遠(yuǎn)參考距離L；E.根據(jù)所述均值和方差的大小對圖像進(jìn)行時(shí)域或質(zhì)量的選擇，并設(shè)置新參考圖像集合；F.根據(jù)新參考圖像集合將每一幀編碼的量化參數(shù)進(jìn)行偏移設(shè)置。本發(fā)明能夠根據(jù)不同的圖像要求對圖像的質(zhì)量或時(shí)域相關(guān)性進(jìn)行自適應(yīng)選擇，并且能夠根據(jù)圖像內(nèi)容變化特征來制定參考圖像管理規(guī)則顯著提升視頻序列編碼性能。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理的方法，具體的講是自適應(yīng)的參考圖像抉擇方法。

背景技術(shù)

視頻編碼本質(zhì)上是通過各種算法、策略、工具不斷去除視頻信號空域和時(shí)域冗余的過程。空域冗余的消除通常依靠幀內(nèi)預(yù)測實(shí)現(xiàn)，時(shí)域冗余的去除則依靠幀間預(yù)測實(shí)現(xiàn)。在歷史發(fā)展進(jìn)程中，許多新技術(shù)新方法的提出并應(yīng)用到視頻編碼器中，如熵編碼，四叉樹塊分割，幀內(nèi)預(yù)測的多方向模式，幀間預(yù)測的雙向多參考模式，解碼端導(dǎo)出矢量技術(shù)等。這些方法的共同目標(biāo)都是在保障編碼質(zhì)量的同時(shí)盡可能少比特?cái)?shù)的開銷。編碼質(zhì)量通常用峰值信號比(PSNR)進(jìn)行度量，比特?cái)?shù)(Bits)通常根據(jù)視頻序列的幀率(Frame Rate,FR)換算成為比特率(Bit Rate,BR)。從專業(yè)術(shù)語上來講，信源視頻序列是由一幅幅時(shí)序相鄰的幀所組成。當(dāng)幀進(jìn)入編解碼器時(shí)，整個(gè)加工過程中都被稱為圖像。

視頻編碼國際標(biāo)準(zhǔn)從H.264/AVC到HEVC/H.265，國家標(biāo)準(zhǔn)從AVS1到AVS+再到AVS2，已有近二十年的發(fā)展歷程。最新的國際標(biāo)準(zhǔn)H.266、國家標(biāo)準(zhǔn)AVS3制定工作新近啟動。二十年以來編碼技術(shù)的長足進(jìn)步使得編碼結(jié)構(gòu)愈加規(guī)范。2002年分層級參考方式(Hierarchical Reference Structure,HRS)的引入，使得編碼過程中圖像間參考結(jié)構(gòu)日趨穩(wěn)定。在今天主流的編碼配置中，低延遲(Low Delay,LD)和隨機(jī)訪問(Random Access,RA)都有HRS精神存在，并按照約定的參考結(jié)構(gòu)被固化下來。有跡象表明在即將制定的H.266標(biāo)準(zhǔn)中，可能會取消用戶自定義圖像間參考調(diào)節(jié)。這些情況說明多數(shù)工程和研究人員都比較認(rèn)可目前的參考圖像管理方式。HRS已經(jīng)非常成熟，性能表現(xiàn)已經(jīng)很優(yōu)異。

與此同時(shí)，視頻信源內(nèi)容和畫面質(zhì)量天然差別巨大，用一種先驗(yàn)的參考管理方式來適用所有的情形是不恰當(dāng)?shù)摹＿\(yùn)動劇烈的幀序列，其相鄰幀之間的時(shí)域相關(guān)性強(qiáng)，稍遠(yuǎn)一些的時(shí)間距離，其時(shí)域相關(guān)性驟降。而場景靜止，內(nèi)容簡單的幀畫面，即使在很長的時(shí)間距離上，其時(shí)域相關(guān)性仍得以保留。

圖像間參考過程中時(shí)域冗余以運(yùn)動估值獲得“矢量+補(bǔ)償”為表達(dá)。即使考慮到率失真優(yōu)化技術(shù)的優(yōu)化選擇，編碼器也始終傾向于選擇“矢量+補(bǔ)償”較小的那些模式用于最終的變換和熵編碼。此時(shí)，參考圖像本身質(zhì)量的優(yōu)劣就起著非常重要的作用。這是因?yàn)榫幋a器總是傾向去選擇“補(bǔ)償”時(shí)候殘差最小的塊用作參考。為了將圖像編碼質(zhì)量提升，比特?cái)?shù)的增加是不開避免的開銷。一般地，對于確定的一幀，編碼時(shí)采用的量化參數(shù)QP值越小，其質(zhì)量越高消耗比特?cái)?shù)越多；采用的量化參數(shù)QP值越大，其質(zhì)量越低消耗比特?cái)?shù)越少。其單調(diào)性已經(jīng)被信息論所證實(shí)。付出相對更多的比特?fù)Q取一幅圖像的較高質(zhì)量，若被后續(xù)圖像參考的頻率高，其高質(zhì)量獲得時(shí)域上的傳遞，那么投入的比特?cái)?shù)獲得的參考價(jià)值就非常高。反之，若它被后續(xù)圖像參考的頻率很低，其高質(zhì)量在時(shí)域上將快速截?cái)啵敲赐度氲谋忍財(cái)?shù)參考價(jià)值就很低。

運(yùn)動變化劇烈的視頻序列，其時(shí)域相關(guān)性局限在非常相鄰的幀之間。靜止或變化很小的視頻序列，幀間時(shí)域相關(guān)性可以持續(xù)很長的時(shí)序距離。對于前面一種情況，每一幀都盡量投入差不多的比特?cái)?shù)以保持均勻的編碼圖像質(zhì)量最有利于整體編碼性能。對于后面一種情況，適宜投入大量比特編碼較高質(zhì)量的一幅圖像，并將它用于后續(xù)長距離的參考，最有利于整體編碼性能。