[發(fā)明專利]選擇性環(huán)路濾波下的圖像編碼的裝置及方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201880090720.8
• 申請(qǐng)日: 2018-03-02
• 公開（公告）號(hào): CN111801947A
• 公開（公告）日: 2020-10-20
• 發(fā)明（設(shè)計(jì)）人: 趙志杰;約翰尼斯·索爾斯;麥蒂爾斯·韋恩
• 申請(qǐng)（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號(hào): H04N19/82
• 分類號(hào): H04N19/82;H04N19/86;H04N19/597
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明公開了一種用于選擇性環(huán)路濾波下的圖像編碼的裝置、方法和計(jì)算機(jī)程序。所公開的內(nèi)容：不使用對(duì)橫跨不連續(xù)面邊界的像素點(diǎn)進(jìn)行操作的環(huán)路濾波器。這樣做的優(yōu)點(diǎn)是避免錯(cuò)誤的環(huán)路濾波器操作產(chǎn)生偽影。所公開的概念還提供：推遲環(huán)路濾波器操作，直到橫跨面邊界的所有像素點(diǎn)已知。然后，環(huán)路濾波器可以根據(jù)3D布局使用正確的像素點(diǎn)。這個(gè)操作可以在編碼塊級(jí)或更高級(jí)上執(zhí)行。這樣做的優(yōu)點(diǎn)是能夠正確對(duì)面邊界進(jìn)行環(huán)路濾波，例如，進(jìn)行去塊濾波或自適應(yīng)環(huán)路濾波，不需要為了填充而對(duì)額外的像素點(diǎn)進(jìn)行編碼。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像編碼領(lǐng)域。具體而言，本發(fā)明涉及通過選擇性環(huán)路濾波改進(jìn)圖像編碼和解碼。

背景技術(shù)

360度視頻或球形視頻是一種使用頭戴式顯示器(head-mounted display，HMD)等設(shè)備來體驗(yàn)沉浸式視頻的方式。這種技術(shù)能夠通過捕獲世界的全景視圖為用戶提供“身臨其境”的沉浸式體驗(yàn)。360度視頻通常是利用包含多臺(tái)攝像機(jī)的專用裝備(rig)或包含多個(gè)內(nèi)置鏡頭的專用虛擬現(xiàn)實(shí)(virtual reality，VR)攝像機(jī)進(jìn)行錄制的。然后，對(duì)得到的片段進(jìn)行拼接，從而形成單個(gè)視頻。這個(gè)過程可以由攝像機(jī)本身完成，也可以利用視頻編輯軟件完成。所述視頻編輯軟件能夠分析常見的視頻內(nèi)容(visuals)，從而同步不同的視頻片段(camera feeds)并將其連接起來，以表示圍繞攝像機(jī)裝備的球面全景。基本上，攝像機(jī)或攝像機(jī)系統(tǒng)會(huì)將360度場(chǎng)景映射到一個(gè)球面上。

接著，根據(jù)投影(例如，等距柱狀投影)將拼接后的圖像(即，球表面上的圖像)從球形表示映射到(或展開)到二維(two-dimension，2D)矩形表示；然后，使用H.264/高級(jí)視頻編碼(Advanced Video Coding，AVC)、高效視頻編碼(High Efficiency Video Coding，HEVC)/H.265等標(biāo)準(zhǔn)視頻編解碼對(duì)該圖像進(jìn)行編碼。在觀看側(cè)，解碼之后，將視頻映射到虛擬球面上，其中，觀看者位于該虛擬球面的中心處。觀看者可以在虛擬球面內(nèi)導(dǎo)航，以根據(jù)需要觀看360度世界視圖，從而獲得沉浸式體驗(yàn)。

如上所述，對(duì)于360度視頻的編碼，需要將內(nèi)容投影到2D表示。除了等距柱狀投影外，還可能包括投影到立方體、八面體等的各面。這樣會(huì)在幀邊界(border/boundary)等處引入不連續(xù)性，而且在某些情況下，還會(huì)在面(例如，立方體等的各面)的邊界處引入不連續(xù)性。因此，在編碼期間通常無法保持橫跨這些邊界的內(nèi)容的平滑性。當(dāng)編碼(解碼)后的視頻呈現(xiàn)在視角時(shí)，重新連接的邊界接縫處常常會(huì)出現(xiàn)偽影。這些偽影會(huì)干擾觀看體驗(yàn)。

環(huán)路濾波器(例如，去塊濾波器)通常用于視頻編碼中，以補(bǔ)償由混合視頻編碼框架造成的偽影。然而，在360度視頻內(nèi)容中，存在幾個(gè)影響環(huán)路濾波器性能的問題。例如，在360度視頻內(nèi)容中，不僅塊邊界編碼會(huì)造成偽影，而且不連接的面邊界也會(huì)造成偽影。此外，正確使用環(huán)路濾波器要求使用環(huán)路濾波器的邊界在三維(three-dimension，3D)意義上是連續(xù)的。然而，對(duì)于360度內(nèi)容來說，情況不一定如此。相反，可以橫跨360度視頻內(nèi)容的連續(xù)邊界和不連續(xù)邊界使用環(huán)路濾波器。橫跨不連續(xù)邊界使用環(huán)路濾波器可能會(huì)產(chǎn)生偽影。

進(jìn)行編碼的各幀或各面可以通過在邊界處填充像素點(diǎn)來擴(kuò)展。然而，這會(huì)不必要地增加幀大小，從而導(dǎo)致待編碼像素點(diǎn)增多，且像素點(diǎn)需要編碼兩次。

發(fā)明內(nèi)容

本發(fā)明內(nèi)容簡(jiǎn)單介紹了一些概念，在具體實(shí)施方式中會(huì)進(jìn)一步描述這些概念。本發(fā)明內(nèi)容不旨在識(shí)別所要求保護(hù)的主題的關(guān)鍵特征或必要特征，也不旨在限制所要求保護(hù)的主題的范圍。

本發(fā)明的目的是提供在選擇性環(huán)路濾波下的改進(jìn)圖像編碼和解碼。上述和其它目的通過獨(dú)立權(quán)利要求的特征來實(shí)現(xiàn)。其它實(shí)現(xiàn)形式根據(jù)從屬權(quán)利要求、說明書和附圖是顯而易見的。