[發明專利]基于深度學習的人臉圖像壓縮方法及裝置

有效

• 申請號: 202010925736.5
• 申請日: 2020-09-04
• 公開（公告）號: CN112053408B
• 公開（公告）日: 2021-05-25
• 發明（設計）人: 段一平;陶曉明;胡舒展;劉永嘉;張栩銘;陸建華
• 申請（專利權）人: 清華大學
• 主分類號: G06T9/00
• 分類號: G06T9/00;G06T7/529;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 安衛靜

本發明提供了一種基于深度學習的人臉圖像壓縮方法及裝置，涉及圖像處理的技術領域，包括：先基于平均人臉圖像和主動外觀模型，將測試人臉圖像分解為形狀分量和紋理分量；然后利用量化熵編碼器對形狀分量進行編碼壓縮，得到第一壓縮結果；再利用訓練好的卷積神經網絡編碼器對紋理分量進行編碼壓縮，得到第二壓縮結果；最后將第一壓縮結果和第二壓縮結果確定為人臉圖像壓縮結果。本發明將平均人臉圖像和主動外觀模型作為先驗知識，且采用訓練好的卷積神經網絡編碼器對紋理分量進行編碼壓縮的方式可以得到低維度特征表示的第二壓縮結果，降低了紋理分量的冗余度，提高了人臉圖像的壓縮效率。

技術領域

本發明涉及圖像處理技術領域，尤其是涉及一種基于深度學習的人臉圖像壓縮方法及裝置。

背景技術

隨著互聯網技術的發展，以視頻為主體的移動多媒體數據急劇增長，超過5G帶寬增速，導致超高清視頻業務面臨研究挑戰。在目前或者可見的將來，信息產生的體量和對應的傳輸技術在增長速度上會產生一定程度的脫節。數據規模的不斷擴張，使其與無線帶寬資源之間的矛盾日益突出。在全球新冠疫情期間，遠程診療、遠程探視、遠程會議、遠程辦公等已經悄然成為常態，而人臉圖像是相關業務的主要載體，目前大多采用JPEG 2000視頻編碼標準進行人臉圖像壓縮，由于采用JPEG 2000標準處理算法比較復雜，因此其處理每一幀人臉圖像的時間較長，因而大幅提升人臉圖像壓縮效率仍然是難題。

發明內容

本發明的目的在于提供一種基于深度學習的人臉圖像壓縮方法及裝置，以緩解現有技術中存在的壓縮復雜度高、人臉圖像壓縮效率較低的技術問題。

第一方面，本發明提供的一種基于深度學習的人臉圖像壓縮方法，其中，包括：基于平均人臉圖像和主動外觀模型，將測試人臉圖像分解為形狀分量和紋理分量；利用量化熵編碼器對所述形狀分量進行編碼壓縮，得到第一壓縮結果；利用訓練好的卷積神經網絡編碼器對所述紋理分量進行編碼壓縮，得到第二壓縮結果；將所述第一壓縮結果和第二壓縮結果確定為人臉圖像壓縮結果。

進一步的，基于平均人臉圖像和主動外觀模型，將測試人臉圖像分解為形狀分量和紋理分量，包括：獲取平均人臉圖像的預設標志點坐標；將所述測試人臉圖像輸入至所述主動外觀模型，得到測試人臉圖像的面部標志點坐標；基于所述測試人臉圖像的面部標志點坐標和所述平均人臉圖像的預設標志點坐標，確定測試人臉圖像的預設標志點坐標；基于測試人臉圖像的預設標志點坐標，確定所述形狀分量；基于所述形狀分量與紋理分量之間的預設關系和所述形狀分量，確定所述紋理分量。

進一步的，所述訓練好的卷積神經網絡編碼器包括至少一個卷積塊，每個所述卷積塊包括：至少一個卷積層、至少一個池化層和第一激活層；利用訓練好的卷積神經網絡編碼器對所述紋理分量進行編碼壓縮，得到第二壓縮結果，包括：將所述紋理分量輸入至所述訓練好的卷積神經網絡編碼器，經所述卷積層、所述池化層和所述第一激活層學習特征，得到特征圖像；將所述特征圖像確定為所述第二壓縮結果。

進一步的，在將所述第一壓縮結果和第二壓縮結果確定為人臉圖像壓縮結果之后，方法還包括：利用反量化熵解碼器對所述第一壓縮結果進行解碼，得到重建的形狀分量；利用訓練好的反卷積神經網絡解碼器對所述第二壓縮結果進行解碼，得到重建的紋理分量；將所述重建的形狀分量和所述重建的形狀分量進行融合，得到與所述測試人臉對應的重建人臉圖像。

進一步的，所述訓練好的反卷積神經網絡解碼器包括至少一個反卷積塊，每個所述反卷積塊包括：至少一個反卷積層和第二激活層；利用訓練好的反卷積神經網絡解碼器對所述第二壓縮結果進行解碼，得到重建的紋理分量，包括：將所述第二壓縮結果輸入至所述訓練好的反卷積神經網絡解碼器，經所述反卷積層和所述第二激活層特征提取，得到反卷積圖像；將所述反卷積圖像確定為所述重建的紋理分量。

進一步的，在將所述重建的形狀分量和所述重建的形狀分量進行融合，得到與所述測試人臉對應的重建人臉圖像之后，方法還包括：基于所述測試人臉圖像，對所述重建人臉圖像進行質量評價，得到質量評價結果。