[發(fā)明專利]視頻編碼預(yù)處理方法、裝置、設(shè)備和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010317855.2
• 申請(qǐng)日: 2020-04-21
• 公開(kāi)（公告）號(hào): CN111654701B
• 公開(kāi)（公告）日: 2022-02-11
• 發(fā)明（設(shè)計(jì)）人: 張佳;董勝富
• 申請(qǐng)（專利權(quán)）人: 北京奇藝世紀(jì)科技有限公司
• 主分類號(hào): H04N19/154
• 分類號(hào): H04N19/154;H04N19/122;H04N19/625;H04N19/176
• 代理公司: 北京華夏泰和知識(shí)產(chǎn)權(quán)代理有限公司 11662
• 代理人: 張麗穎

本發(fā)明公開(kāi)了一種視頻編碼預(yù)處理方法、裝置、設(shè)備和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。該方法包括：將視頻圖像分割為互不重疊的前期拍攝圖像塊和后期制作圖像塊；對(duì)前期拍攝圖像塊進(jìn)行頻域變換，得到前期拍攝圖像塊對(duì)應(yīng)的變換塊；確定變換塊對(duì)應(yīng)的視覺(jué)敏感度和確定變換塊中每個(gè)頻率系數(shù)對(duì)應(yīng)的視覺(jué)敏感度，根據(jù)變換塊對(duì)應(yīng)的視覺(jué)敏感度和變換塊中每個(gè)頻率系數(shù)對(duì)應(yīng)的視覺(jué)敏感度，對(duì)變換塊進(jìn)行頻率系數(shù)抑制處理；對(duì)頻率系數(shù)抑制處理后的變換塊進(jìn)行時(shí)域變換，根據(jù)時(shí)域變換后的變換塊和后期制作圖像塊，生成待視頻編碼的視頻圖像。本發(fā)明將人眼視覺(jué)系統(tǒng)的主觀感受作為編碼質(zhì)量評(píng)價(jià)指標(biāo)，對(duì)頻域的前期拍攝圖像塊進(jìn)行頻率系數(shù)抑制，降低視頻圖像在視頻編碼時(shí)的碼率。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種視頻編碼預(yù)處理方法、裝置、設(shè)備和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

在視頻編碼領(lǐng)域中，主流的編碼質(zhì)量評(píng)價(jià)指標(biāo)為峰值信噪比(Peak Signal toNoise Ratio，簡(jiǎn)稱PSNR)。PSNR是通過(guò)對(duì)未視頻編碼的原始圖像和重構(gòu)圖像(經(jīng)過(guò)視頻編碼再解碼的原始圖像)進(jìn)行逐像素地比較得到的，進(jìn)而PSNR能夠反應(yīng)出原始像素與重構(gòu)像素之間的微小差異。然而，在實(shí)現(xiàn)本發(fā)明的過(guò)程中發(fā)現(xiàn)，人眼視覺(jué)系統(tǒng)(Human VisualSystem，簡(jiǎn)稱HVS)的視覺(jué)敏感度是有限的，只有在原始像素與重構(gòu)像素之間存在較大差異時(shí)才可能會(huì)被人眼的HVS察覺(jué)，而且原始像素與重構(gòu)像素之間的差異是否能夠被HVS察覺(jué)還與許多影響因素有關(guān)。比如：影響因素包括圖像內(nèi)容和觀測(cè)距離，如果圖像內(nèi)容的紋理復(fù)雜，則HVS不易察覺(jué)像素差異，如果用戶與圖像之間的觀測(cè)距離較大，則HVS也不易察覺(jué)像素差異。如果原始像素與重構(gòu)像素之間的差異沒(méi)有被HVS察覺(jué)到，則HVS會(huì)判定視頻圖像質(zhì)量未發(fā)生改變。因此，PSNR并不能衡量HVS對(duì)視頻圖像主觀質(zhì)量的判斷。

目前，在視頻應(yīng)用中，高分辨率、高幀率的視頻的逐漸盛行。如果視頻編碼方法以PSNR作為編碼質(zhì)量評(píng)價(jià)指標(biāo)，則在對(duì)視頻圖像進(jìn)行編碼時(shí)，為了減小原始像素和重構(gòu)像素之間的差異，會(huì)在原始圖像中保留許多HVS難以察覺(jué)的內(nèi)容，而這些HVS難以察覺(jué)的內(nèi)容會(huì)增加視頻編碼的碼率，而且分辨率、幀率越高，碼率就越高，傳輸編碼后的視頻圖像所需的帶寬就越大，這使得碼率與帶寬之間的矛盾日益凸顯，視頻服務(wù)質(zhì)量問(wèn)題頻出。

發(fā)明內(nèi)容

本發(fā)明的主要目的在于提供一種視頻編碼預(yù)處理方法、裝置、設(shè)備和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，以解決現(xiàn)有的視頻編碼方法以PSNR作為編碼質(zhì)量評(píng)價(jià)指標(biāo)，導(dǎo)致視頻編碼的碼率較高的問(wèn)題。

針對(duì)上述技術(shù)問(wèn)題，本發(fā)明實(shí)施例是通過(guò)以下技術(shù)方案來(lái)解決的：

本發(fā)明實(shí)施例提供了一種視頻編碼預(yù)處理方法，包括：將視頻圖像分割為互不重疊的前期拍攝圖像塊和后期制作圖像塊；對(duì)所述前期拍攝圖像塊進(jìn)行頻域變換，得到所述前期拍攝圖像塊對(duì)應(yīng)的變換塊；確定所述變換塊對(duì)應(yīng)的視覺(jué)敏感度以及確定所述變換塊中的每個(gè)頻率系數(shù)對(duì)應(yīng)的視覺(jué)敏感度，并根據(jù)所述變換塊對(duì)應(yīng)的視覺(jué)敏感度以及所述變換塊中的每個(gè)頻率系數(shù)對(duì)應(yīng)的視覺(jué)敏感度，對(duì)所述變換塊進(jìn)行頻率系數(shù)抑制處理；對(duì)頻率系數(shù)抑制處理后的所述變換塊進(jìn)行時(shí)域變換，并根據(jù)時(shí)域變換后的所述變換塊和所述后期制作圖像塊，生成待視頻編碼的視頻圖像。

其中，所述確定所述變換塊對(duì)應(yīng)的視覺(jué)敏感度，包括：根據(jù)所述視頻圖像對(duì)應(yīng)的圖像位深，所述變換塊對(duì)應(yīng)的前期拍攝圖像塊的尺寸，所述變換塊中的各個(gè)頻率系數(shù)以及所述各個(gè)頻率系數(shù)分別對(duì)應(yīng)的視角空間頻率，確定所述變換塊的紋理復(fù)雜度；根據(jù)所述變換塊的紋理復(fù)雜度，確定所述變換塊對(duì)應(yīng)的視覺(jué)敏感度。

其中，所述變換塊的紋理復(fù)雜度為所述變換塊的結(jié)構(gòu)性對(duì)比指數(shù)。

其中，所述確定所述變換塊中的每個(gè)頻率系數(shù)對(duì)應(yīng)的視覺(jué)敏感度，包括：針對(duì)所述變換塊中的每個(gè)頻率系數(shù)，根據(jù)所述視頻圖像的高度對(duì)應(yīng)的像素分辨率，預(yù)設(shè)的觀察距離和所述視頻圖像的高度的比值以及所述頻率系數(shù)在所述變換塊中的坐標(biāo)，計(jì)算所述頻率系數(shù)對(duì)應(yīng)的視角空間頻率；根據(jù)所述頻率系數(shù)對(duì)應(yīng)的視角空間頻率，確定所述頻率系數(shù)對(duì)應(yīng)的視覺(jué)敏感度。