[發(fā)明專利]基于多色彩空間進(jìn)行率失真優(yōu)化的視頻處理方法及應(yīng)用

在審

• 申請?zhí)枺?/td>: 202111486783.5
• 申請日: 2021-12-07
• 公開（公告）號(hào): CN114205586A
• 公開（公告）日: 2022-03-18
• 發(fā)明（設(shè)計(jì)）人: 林慶毫;韋虎;游源祺
• 申請（專利權(quán)）人: 眸芯科技（上海）有限公司
• 主分類號(hào): H04N19/147
• 分類號(hào): H04N19/147;H04N19/172;H04N19/176;H04N19/186
• 代理公司: 上海圖靈知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 31393
• 代理人: 謝微

本發(fā)明公開了基于多色彩空間進(jìn)行率失真優(yōu)化的視頻處理方法及應(yīng)用，涉及數(shù)字圖像處理技術(shù)領(lǐng)域。所述方法包括步驟：預(yù)定義候選色彩空間列表中的N個(gè)色彩空間YUiVi；將輸入視頻分為多個(gè)單元，對每一個(gè)單元，分別轉(zhuǎn)換到前述N個(gè)色彩空間進(jìn)行編碼，記錄單元在各色彩空間編碼后的比特?cái)?shù)Bi；對編碼單元進(jìn)行去量化和逆變換得到失真解碼單元，將失真解碼單元統(tǒng)一轉(zhuǎn)換到初始的標(biāo)準(zhǔn)色彩空間得到失真單元，與原始輸入單元對比后計(jì)算單元在各色彩空間上的失真度Di；計(jì)算各色彩空間的率失真代價(jià)Ji=Di+λBi，將Ji最小的色彩空間確定為當(dāng)前單元的編碼色彩空間。本發(fā)明可針對視頻圖像內(nèi)容靈活地、自適應(yīng)地選擇最合適的色彩空間進(jìn)行編碼。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)字圖像處理技術(shù)領(lǐng)域，尤其涉及一種基于多色彩空間進(jìn)行率失真優(yōu)化的視頻處理方法及應(yīng)用。

背景技術(shù)

視頻壓縮通過將視頻信息轉(zhuǎn)換成較低比特率的形式來降低存儲(chǔ)和傳送該信息的成本，解壓(也被稱為解碼)從壓縮的形式中重構(gòu)一種版本的原始信息。隨著 IT 技術(shù)的發(fā)展，視頻應(yīng)用已經(jīng)滲透到了社會(huì)的各個(gè)領(lǐng)域。不斷涌現(xiàn)的視頻應(yīng)用對視頻壓縮效率提出了更高的要求。

視頻壓縮性能需要根據(jù)編碼輸出的比特率和編碼后產(chǎn)生的失真共同評(píng)價(jià)。編碼比特率和失真相互制約，例如降低比特率必然使得失真度上升，相反要獲得更好的視頻質(zhì)量，又會(huì)提高編碼后的比特率，典型率失真曲線參見圖1所示。因此視頻編碼的核心目標(biāo)就是在保證一定視頻質(zhì)量的情況下，盡可能地減少編碼比特率。為了應(yīng)對不同的視頻場景，編碼器在相對固定的框架下，會(huì)有多種可選的編碼方式，編碼器的一個(gè)核心工作就是使用某種策略選擇最優(yōu)的編碼參數(shù)，以實(shí)現(xiàn)最優(yōu)的視頻壓縮性能。基于率失真理論的編碼參數(shù)選擇的過程稱為率失真優(yōu)化（Rate-distortion optimization，RDO）。

傳統(tǒng)的視頻編碼過程中已有很多編碼參數(shù)，即有很多可進(jìn)行率失真優(yōu)化的過程，作為舉例，包括幀內(nèi)預(yù)測模式、幀間運(yùn)動(dòng)估計(jì)、量化等。目前主流的視頻編碼框架下，能進(jìn)行率失真優(yōu)化的過程已相對固定，以幀內(nèi)預(yù)測模式的率失真優(yōu)化過程為例進(jìn)行說明。幀內(nèi)預(yù)測是指利用當(dāng)前圖像已編碼的像素點(diǎn)對待編碼塊進(jìn)行預(yù)測的過程，主流的H.265 標(biāo)準(zhǔn)提供了35 種可選擇的幀內(nèi)預(yù)測模式，對任一編碼塊，遍歷所有的預(yù)測模式進(jìn)行編碼，滿足碼率限制的失真最小的一個(gè)預(yù)測模式即為最優(yōu)的幀內(nèi)預(yù)測模式。

另一方面，視頻源(諸如攝像頭)通常在特定色彩空間中提供視頻，其中該視頻的色彩分量是根據(jù)特定色彩采樣率來子采樣的。一般而言，色彩空間(也稱色彩模型)是用于將色彩表示為每物理位置n個(gè)值的模型，其中n≥1，其中每個(gè)n值提供該位置的色彩分量值。人們通常使用一個(gè)三元組（n=3）或四元組（n=4）數(shù)字來描述色彩空間的顏色，例如RGB、CMYK色彩空間，在RGB色彩空間中，紅色(R)分量值表示某位置處的紅色強(qiáng)度，綠色(G)分量值表示該位置處的綠色強(qiáng)度，藍(lán)色(B)分量值表示該位置處的藍(lán)色強(qiáng)度；在CMYK色彩空間中，四種標(biāo)準(zhǔn)顏色C=Cyan青色， M=Magenta品紅色，Y=Yellow黃色，K=blacK黑色，青色(C)分量值表示某位置處的青色強(qiáng)度，品紅色(M)分量值表示該位置處的品紅色強(qiáng)度，黃色(Y)分量值表示該位置處的黃色強(qiáng)度，黑色(K)分量值表示該位置處的黑色強(qiáng)度。不同的色彩空間具有用于不同應(yīng)用的優(yōu)點(diǎn)，一個(gè)顏色往往可使用色彩空間轉(zhuǎn)換操作在不同的色彩空間中進(jìn)行轉(zhuǎn)換，色彩空間之間的轉(zhuǎn)換大多是簡單的線性映射，例如RGB色彩空間到Y(jié)CbCr色彩空間的轉(zhuǎn)換：

；

或者RGB色彩空間到Y(jié)CgCo色彩空間的轉(zhuǎn)換：

。