[發(fā)明專利]一種畫質(zhì)增強(qiáng)裝置及相關(guān)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010322718.8
• 申請(qǐng)日: 2020-04-22
• 公開（公告）號(hào): CN113538211A
• 公開（公告）日: 2021-10-22
• 發(fā)明（設(shè)計(jì)）人: 謝江榮;賈明波;王建
• 申請(qǐng)（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號(hào): G06T3/00
• 分類號(hào): G06T3/00;G06T3/40;G06T5/00;G06T7/33
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 熊永強(qiáng);李稷芳

1.一種畫質(zhì)增強(qiáng)裝置，其特征在于，所述畫質(zhì)增強(qiáng)裝置包括通用處理單元CPU和圖像處理單元GPU；其中，

所述CPU用于：對(duì)目標(biāo)視頻內(nèi)的目標(biāo)幀圖像進(jìn)行下采樣，獲得低分辨率圖像；

對(duì)所述低分辨率圖像進(jìn)行特征提取，獲取所述低分辨率圖像對(duì)應(yīng)的目標(biāo)雙邊網(wǎng)格，所述目標(biāo)雙邊網(wǎng)格包括所述低分辨率圖像對(duì)應(yīng)的仿射變換信息；

所述GPU用于：根據(jù)所述目標(biāo)雙邊網(wǎng)格和所述仿射變換信息，通過雙邊引導(dǎo)上采樣BGU插值方法獲取所述低分辨率圖像上采樣后的仿射變換矩陣，所述仿射變換矩陣包括仿射變換系數(shù)，所述仿射變換系數(shù)用于增強(qiáng)所述目標(biāo)幀圖像的畫質(zhì)；

根據(jù)所述仿射變換矩陣，對(duì)所述目標(biāo)幀圖像內(nèi)每個(gè)像素點(diǎn)的畫質(zhì)進(jìn)行增強(qiáng)，獲得增強(qiáng)后的目標(biāo)幀圖像。

2.根據(jù)權(quán)利要求1所述裝置，其特征在于，所述GPU還用于：接收所述CPU發(fā)送的所述目標(biāo)雙邊網(wǎng)格；

所述CPU還用于：在所述GPU接收所述CPU發(fā)送的所述目標(biāo)雙邊網(wǎng)格后，對(duì)所述目標(biāo)視頻內(nèi)的所述目標(biāo)幀圖像的下一幀圖像進(jìn)行下采樣以及特征提取。

3.根據(jù)權(quán)利要求1或2所述裝置，其特征在于，所述仿射變換系數(shù)包括人像區(qū)域仿射變換系數(shù)和非人像區(qū)域仿射變換系數(shù)。

4.根據(jù)權(quán)利要求3所述裝置，其特征在于，所述GPU具體用于：

根據(jù)所述目標(biāo)雙邊網(wǎng)格和所述仿射變換信息，通過所述BGU插值方法獲取所述低分辨率圖像內(nèi)人像區(qū)域?qū)?yīng)的目標(biāo)人像區(qū)域仿射變換系數(shù)；

將所述目標(biāo)幀圖像內(nèi)的非人像區(qū)域和參考幀圖像內(nèi)的非人像區(qū)域進(jìn)行幾何配準(zhǔn)，獲得第一配準(zhǔn)信息，所述第一配準(zhǔn)信息用于指示所述目標(biāo)幀圖像的非人像區(qū)域和參考幀圖像的非人像區(qū)域之間的相似度；

在所述第一配準(zhǔn)信息小于預(yù)設(shè)閾值的情況下，通過所述BGU插值方法獲取所述低分辨率圖像內(nèi)的非人像區(qū)域?qū)?yīng)的目標(biāo)非人像區(qū)域仿射變換系數(shù)，并將所述目標(biāo)幀圖像更新為所述下一幀圖像的參考幀圖像；

根據(jù)所述目標(biāo)人像區(qū)域仿射變換系數(shù)和所述目標(biāo)非人像區(qū)域仿射變換系數(shù)，獲得所述仿射變換矩陣。

5.根據(jù)權(quán)利要求4所述裝置，其特征在于，所述GPU還用于：

在所述第一配準(zhǔn)信息大于或等于所述預(yù)設(shè)閾值的情況下，獲取所述參考幀圖像內(nèi)的非人像區(qū)域仿射變換系數(shù)，并將所述參考幀圖像的非人像區(qū)域仿射變換系數(shù)作為所述目標(biāo)幀圖像的所述目標(biāo)非人像區(qū)域仿射變換系數(shù)。

6.根據(jù)權(quán)利要求4所述裝置，其特征在于，所述GPU還用于：

在所述第一配準(zhǔn)信息大于或等于所述預(yù)設(shè)閾值的情況下，獲取所述參考幀圖像的非人像區(qū)域仿射變換系數(shù)；

獲取所述低分辨率圖像內(nèi)的非人像區(qū)域?qū)?yīng)的目標(biāo)非人像區(qū)域仿射變換系數(shù)；

確定所述目標(biāo)幀圖像的所述非人像區(qū)域所有像素點(diǎn)中第一像素點(diǎn)對(duì)應(yīng)的仿射變換系數(shù)為所述參考幀圖像對(duì)應(yīng)的非人像區(qū)域仿射變換系數(shù)，第二像素點(diǎn)對(duì)應(yīng)的仿射變換系數(shù)為所述目標(biāo)非人像區(qū)域仿射變換系數(shù)，其中，所述第一像素點(diǎn)與所述第二像素點(diǎn)間隔分布。

7.根據(jù)權(quán)利要求3所述裝置，其特征在于，所述GPU具體用于：

根據(jù)所述目標(biāo)雙邊網(wǎng)格和所述仿射變換信息，通過所述BGU插值方法獲取所述低分辨率圖像內(nèi)人像區(qū)域?qū)?yīng)的目標(biāo)人像區(qū)域仿射變換系數(shù)；

將所述目標(biāo)幀圖像內(nèi)的非人像區(qū)域和前一幀圖像內(nèi)的非人像區(qū)域進(jìn)行幾何配準(zhǔn)，獲得第二配準(zhǔn)信息，所述第二配準(zhǔn)信息用于指示所述目標(biāo)幀圖像的非人像區(qū)域和所述前一幀圖像的非人像區(qū)域之間的相似度；

在所述第二配準(zhǔn)信息大于或等于預(yù)設(shè)閾值的情況下，獲取所述低分辨率圖像內(nèi)的非人像區(qū)域?qū)?yīng)的目標(biāo)非人像區(qū)域仿射變換系數(shù)和前一幀圖像內(nèi)的非人像區(qū)域?qū)?yīng)的非人像區(qū)域仿射變換系數(shù)；

確定所述目標(biāo)幀圖像的所述非人像區(qū)域內(nèi)每五個(gè)像素點(diǎn)中第三像素點(diǎn)對(duì)應(yīng)的仿射變換系數(shù)為所述目標(biāo)非人像區(qū)域仿射變換系數(shù)，除第三像素點(diǎn)外的其他四個(gè)像素點(diǎn)對(duì)應(yīng)的仿射變換系數(shù)為所述前一幀圖像對(duì)應(yīng)的非人像區(qū)域仿射變換系數(shù)，其中，所述每五個(gè)像素點(diǎn)呈十字形分布，所述第三像素點(diǎn)處于所述十字形的中心，且所述下一幀圖像對(duì)應(yīng)的所述第三像素點(diǎn)與所述目標(biāo)幀圖像對(duì)應(yīng)的第三像素點(diǎn)的位置不同。