[發明專利]一種基于輕量化網絡的位深度提升方法及其系統

有效

• 申請號: 202010096369.2
• 申請日: 2020-02-17
• 公開（公告）號: CN111325781B
• 公開（公告）日: 2023-03-14
• 發明（設計）人: 趙洋;任迪雅;李書杰;賈偉;李琳;劉曉平
• 申請（專利權）人: 合肥工業大學
• 主分類號: G06T7/50
• 分類號: G06T7/50;G06T7/11;G06N3/0464;G06N3/048;G06N3/082
• 代理公司: 安徽省合肥新安專利代理有限責任公司 34101
• 代理人: 陸麗莉;何梅生

本發明公開了一種基于輕量化網絡的位深度提升方法及其系統，該方法包括：首先通過一個淺層全卷積神經網絡提取圖像平坦區域掩模；然后將平坦區域掩模與低位深度圖像聯結作為輸入通過一個平坦區域位深度提升模塊；將非平坦區域掩模與低位深度圖像聯結作為輸入通過一個非平坦區域位深度提升模塊，最終將上述輸出相加得到最終的高位深度圖像。本發明能改善位深度提升圖像的視覺效果，并著重處理位深度提升中的平坦區域不自然效應，從而高效提升圖像像素位深度。

技術領域

本發明涉及圖像處理領域，具體是一種基于輕量化網絡的位深度提升方法及系統。

背景技術

像素位深度(Bit-Depth)用于指定圖像中的每個像素可以使用的數值范圍，例如，目前常見的視頻與圖像多為8bits，即每個像素值取值范圍有2⁸(0～255)。而每個像素使用的位數越多，數值層次就越豐富，細節及顏色表現就更逼真。人類視覺系統能感知2¹²～2¹⁴的亮度差異，然而當前大部分顯示器圖像都是8bits，無法顯示細膩、逼真、高動態的現實圖像。隨著顯示技術和顯示產業的發展，顯示面板支持的位深度也在不斷提升，例如目前的4K超高清電視已大多支持10bits顯示，一些專業顯示器支持的位深度更深。面向未來顯示面板不斷提升的圖像像素位深度，如何解決目前海量的視頻圖像資源在更高位深度的面板上更好的顯示，是一個面向應用的實際問題。

近年來提出的位深度提升方法多為傳統方法，例如對缺失的比特位信息進行簡單填充或基于規則對低位比特位信息進行放大。但是這些方法往往會產生一些不自然效應，例如，在平坦區域產生明顯的帶狀效應(BandingArtifact)，即圖像從整體上表現出一種時明時暗的不連續性；產生振鈴效應(RingingArtifact)，即物體邊緣產生“漣漪”狀的過度效果；產生塊效應(BlockingArtifact)，即圖像上出現一些“方格”的效果。同時，傳統方法難以準確預測缺失位的數值信息。

最近，基于深度學習的位深度提升算法有兩種：一種使用UNet結構，以獲取較大的感受野，完成較大跨度的位深度的提升(如4bits到8bits)，但這種方法不能完全的消除不自然效應，也會在平坦區域產生新的棋盤格效應；另一種使用很深殘差網絡，可以精細的完成小跨度的位深度提升(如6bits到8bits)，但由于缺乏全局感受野，無法很好的完成跨度較大的提升(如4bits到8bits)；同時，這兩種方法參數量與計算消耗均較大，限制了實際應用的前景。

發明內容

本發明為克服現有技術中的不足之處，提出一種基于輕量化網絡的位深度提升方法及其系統，以期能改善位深度提升圖像的視覺效果，并著重處理位深度提升中的平坦區域不自然效應，從而高效提升圖像像素位深度。

為了實現上述發明目的，本發明采用如下技術方案：

本發明一種基于輕量化網絡的位深度提升方法的特點是按如下步驟進行：

步驟1.構建一個基于全卷積網絡的圖像平坦區域提取模塊P：

設置所述圖像平坦區域提取模塊P的網絡結構分為全卷積部分和反卷積部分；

設置所述全卷積部分依次包含t個由卷積核大小為n×n的卷積層和池化層組成的卷積模塊以及一個卷積核大小為1×1的卷積層；

設置所述反卷積部分依次包含一個上采樣層、一個卷積核大小為n×n的卷積層與ReLU激活函數層；

步驟2.構建一個基于輕量化殘差網絡的平坦區域位深度提升模塊X：

設置所述平坦區域位深度提升模塊X依次包含：一個卷積核大小為n×n的卷積層、m個嵌套殘差塊、一個卷積核大小為n×n的卷積層，并在所述平坦區域位深度提升模塊X的輸入層之前與輸出層之后分別添加全局跳過連接；

設置任意一個嵌套殘差塊依次包含：一個卷積核大小為n×n的卷積層、兩個內嵌1×1殘差塊、一個卷積核大小為n×n的卷積層；