[發(fā)明專利]用于對圖像幀進行幀內(nèi)編碼的方法和裝置

在審

• 申請?zhí)枺?/td>: 202111033054.4
• 申請日: 2021-09-03
• 公開（公告）號: CN114245114A
• 公開（公告）日: 2022-03-25
• 發(fā)明（設計）人: 伏萊德瑞克·皮爾;馬爾特·約翰遜
• 申請（專利權(quán)）人: 安訊士有限公司
• 主分類號: H04N19/11
• 分類號: H04N19/11;H04N19/182;H04N19/593;H04N19/625
• 代理公司: 北京德琦知識產(chǎn)權(quán)代理有限公司 11018
• 代理人: 康泉;宋志強

用于對圖像幀進行幀內(nèi)編碼的方法和裝置。提供了一種對圖像幀(112)進行幀內(nèi)編碼的圖像管線(120)及其方法。圖像管線(120)包括處理部分(122)，該處理部分后面是支持用于對圖像幀進行幀內(nèi)編碼的多個幀內(nèi)預測模式的編碼部分(124)。該方法包括：接收圖像幀；以及對于在圖像幀(112)中的至少一個像素值塊：使用由編碼部分(124)支持的幀內(nèi)預測模式來預測至少一個像素值塊中的像素值，并通過調(diào)整在至少一個像素值塊中的至少一個像素值來更新圖像幀(112)，以便減小在至少一個像素值和相應預測像素值之間的殘差。進一步地，該方法包括使用多個幀內(nèi)預測模式中的至少一個來對經(jīng)更新的圖像(112’)進行幀內(nèi)預測。

技術(shù)領(lǐng)域

本申請涉及對圖像幀進行幀內(nèi)編碼的領(lǐng)域。特別是，它涉及圖像幀的在其幀內(nèi)編碼之前的處理。

背景技術(shù)

在數(shù)字視頻系統(tǒng)例如網(wǎng)絡攝像機監(jiān)控系統(tǒng)中，視頻序列通常在存儲之前或在通過通信網(wǎng)絡傳輸之前被壓縮。對于在存儲之前壓縮視頻序列的原因是減少了與對存儲未壓縮視頻序列所需的存儲資源相比所需的存儲資源。相應地，視頻序列在傳輸之前被壓縮，以便減少了與用于未壓縮視頻序列的傳輸?shù)木W(wǎng)絡資源相比的網(wǎng)絡資源，例如網(wǎng)絡帶寬。在有限的可用網(wǎng)絡資源的情況下，傳輸視頻序列(如果未被壓縮)可能甚至是不可能的。

視頻序列可以被壓縮，即通過編碼器，使用各種視頻編碼方法被編碼。在很多數(shù)字視頻編碼系統(tǒng)中，用于壓縮視頻序列的圖像幀的兩個主要模式是：幀內(nèi)模式和幀間模式。在本公開中，幀內(nèi)模式壓縮也被稱為幀內(nèi)編碼，以及幀間模式壓縮相應地被稱為幀間編碼。

在幀內(nèi)編碼中，通過利用在單個幀的給定通道中的像素的空間冗余經(jīng)由預測、變換和熵編碼來對亮度和色度通道編碼。經(jīng)編碼的圖像幀被稱為幀內(nèi)幀，且也可以被稱為I幀或關(guān)鍵幀。在幀內(nèi)中，像素的塊或包括多個塊的宏塊在幀內(nèi)模式中被編碼，這意味著它們被編碼為塊內(nèi)，即單獨地，而沒有參考其他塊。

幀間編碼替代地利用在單獨圖像幀之間的時間冗余，并依賴于運動壓縮預測技術(shù)，其通過針對選定的像素塊對從一個圖像幀到另一圖像幀的像素中的運動編碼來預測來自一個或多個先前圖像幀的圖像幀的部分。特別地，運動矢量和在圖像幀的像素和參考幀的像素之間的運動中的差異被編碼。經(jīng)編碼的幀被稱為幀間幀，并可稱為P幀(前向預測幀)或B幀(雙向預測幀)，P幀可以指在解碼順序中的先前幀，B幀可以指兩個或更多個先前的經(jīng)解碼的幀，并可以具有用于預測的幀的任何任意顯示-順序關(guān)系。在幀間內(nèi)，像素的塊可以要么在幀間模式(這意味著它們參考在先前的經(jīng)解碼的圖像幀中的相似塊被編碼)中要么在幀內(nèi)模式(這意味著它們被編碼為塊內(nèi)，即單獨地，而沒有參考其他塊)中被編碼。

當執(zhí)行像素的塊的幀內(nèi)編碼時，編碼器利用幀內(nèi)預測。在幀內(nèi)預測中，編碼器使用在將被幀內(nèi)編碼的像素的塊的頂部上和左側(cè)的像素的值，以便預測在塊中的像素值。

在使用幀內(nèi)預測模式之一預測像素值之后，從真實像素值減去預測像素值，且差值(也被稱為殘差)在它被呈送到在比特流中之前被量化和熵編碼。如果預測是完美的，將沒有殘差。然而，實際上將存在影響幀內(nèi)編碼幀的尺寸的殘差。

很多編碼器具有用于進行幀內(nèi)預測的不同模式，且可以為像素的給定塊選擇給出最小殘差的幀內(nèi)預測模式。例如，有時也被稱為H.264的壓縮標準高級視頻編碼(AVC)支持9個不同的幀內(nèi)預測模式、壓縮標準高效視頻編碼(HEVC)支持35個不同的幀內(nèi)預測模式，以及壓縮標準AOMedia視頻1(AV1)支持54個不同的幀內(nèi)預測模式。

與圖像幀的幀間編碼相比的幀內(nèi)編碼圖像幀的缺點是，所得到的I幀與幀間編碼的P幀相比具有較大的尺寸，引起在比特流中的尖峰。I幀的較大尺寸的原因是，與P幀的幀間編碼(其中，空間冗余和時間冗余都被利用)相比，當執(zhí)行幀內(nèi)編碼時只有空間冗余被利用。