[發明專利]一種畫質增強裝置及相關方法

在審

• 申請號: 202010322718.8
• 申請日: 2020-04-22
• 公開（公告）號: CN113538211A
• 公開（公告）日: 2021-10-22
• 發明（設計）人: 謝江榮;賈明波;王建
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T3/40;G06T5/00;G06T7/33
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 熊永強;李稷芳

本申請公開了一種畫質增強裝置及方法，具體可以應用于終端人工智能(Artificial Intelligence，AI)領域以及對應的子領域，該畫質增強裝置包括通用處理單元CPU和圖像處理單元GPU；CPU用于對目標視頻內的目標幀圖像進行下采樣，獲得低分辨率圖像；對低分辨率圖像進行特征提取，獲取低分辨率圖像對應的目標雙邊網格；GPU用于根據目標雙邊網格和目標雙邊網格包括的仿射變換信息，通過雙邊引導上采樣BGU插值方法獲取低分辨率圖像上采樣后的仿射變換矩陣；根據仿射變換矩陣，對目標幀圖像內每個像素點的畫質進行增強，獲得增強后的目標幀圖像。實施本申請實施例，可以增強大屏上的視頻畫質。

技術領域

本申請涉及終端人工智能領域，尤其涉及一種畫質增強裝置及相關方法。

背景技術

在現有技術中，受限于拍攝設備中圖像傳感器的像元尺寸、響應性能，成像的動態范圍要遠小于真實場景中的動態范圍；另外，為了方便網絡傳輸，往往會對視頻進行量化、壓縮處理，使得最終呈現在大屏設備上的視頻質量下降明顯。

目前提升大屏畫面質量的方法眾多，一方面廠商可以聯合視頻媒體拍攝制作高分辨率、高對比度、更高位深的新片源，結合高位深顯示面板硬件，從而取得出眾的畫質效果；另一方面可以采用自動模式調整畫質，通過預置的畫質模式，對亮度、色溫、對比度曲線進行重新映射，到達畫面增強的效果。

然而，高位深新片源的制作，需要與其相兼容的顯示面板支持，這會帶來額外的硬件成本，并且經典的老片源重制難度極高，基本上無法獲得增強。而采用自動模式調整畫質時，對運動物體，盡管采用相關的匹配算法進行補償，仍然會出現偽像使得合成圖片的質量難以接受。

因此，如何增強大屏上的視頻畫質，是亟待解決的問題。

發明內容

本申請實施例提供了一種畫質增強裝置及相關方法，以提升視頻中的圖像畫質。

第一方面，本申請提供了一種畫質增強裝置，其特征在于，所述畫質增強裝置包括通用處理單元CPU和圖像處理單元GPU；其中，所述CPU用于：對目標視頻內的目標幀圖像進行下采樣，獲得低分辨率圖像；對所述低分辨率圖像進行特征提取，獲取所述低分辨率圖像對應的目標雙邊網格，所述目標雙邊網格包括所述低分辨率圖像對應的仿射變換信息；所述GPU用于：根據所述目標雙邊網格和所述仿射變換信息，通過雙邊引導上采樣BGU插值方法獲取所述低分辨率圖像上采樣后的仿射變換矩陣，所述仿射變換矩陣包括仿射變換系數，所述仿射變換系數用于增強所述目標幀圖像的畫質；根據所述仿射變換矩陣，對所述目標幀圖像內每個像素點的畫質進行增強，獲得增強后的目標幀圖像。

在本申請實施例中，可以通過畫質增強裝置，同時利用通用處理單元CPU和圖像處理單元GPU的運算性能，通過并行異構多級處理(即，CPU與GPU同時分工處理目標視頻)的畫質增強方案，對目標視頻的每一幀圖像進行畫質增強。其次，該畫質增強裝置將畫質增強方案的網絡結構合理分配在CPU與GPU異構的多級流水線上執行，相比于單獨的CPU或者GPU串行處理，獲得了更低的單幀處理時延，使得視頻流的實時增強的時間變短。而且可以利用雙邊網格實現圖像操作算子的加速，即將目標視頻中每一幀圖像先通過下采樣，并轉換成為一個帶有圖像仿射變換信息的雙邊網格；隨后通過BGU插值方法獲得全分辨的仿射變化系數，進而應用在原始圖像中，最終獲得增強后的高分辨率圖像，壓縮了視頻增強的運算量，從而能夠快速高效的增強大屏上的視頻畫質。