[發明專利]一種人臉圖像壓縮方法和系統

在審

• 申請號: 202210013946.6
• 申請日: 2022-01-06
• 公開（公告）號: CN114519750A
• 公開（公告）日: 2022-05-20
• 發明（設計）人: 賈川民;張悅楓;馬思偉;王苫社
• 申請（專利權）人: 北京大學
• 主分類號: G06T9/00
• 分類號: G06T9/00;G06V40/16;G06K9/62;G06V10/80
• 代理公司: 北京辰權知識產權代理有限公司 11619
• 代理人: 李小朋

本申請實施例公開了一種圖像壓縮方法和系統，所述方法包括：從原始人臉圖像輸入風格編碼器和內容編碼器，以提取風格特征和結構特征；分別進行概率估計和熵編碼，得到風格特征對應的風格編碼比特流和結構特征對應的結構編碼比特流，輸入解碼器和多任務分析網絡；解碼器對所述風格編碼比特流和結構編碼比特流的圖像進行重建，輸出重建圖；多任務分析網絡對所述風格編碼比特流和結構編碼比特流進行語義理解分析，輸出圖像的語義信息。在極高壓縮效率的情況下，保持重建圖像的高主觀視覺評價質量，并且節省解碼時間與資源開銷。

技術領域

本申請實施例涉及數字信號處理技術領域，具體涉及一種人臉圖像壓縮方法和系統。

背景技術

基于神經網絡的圖像/視頻壓縮方法近年來發展迅速，其壓縮重建圖像質量已經在PSNR、MS-SSIM等客觀指標上超過新一代視頻編碼標準VVC。基于生成模型的壓縮框架可以在不影響直接反應人眼觀看效果的相關評價指標的前提下，極大限度地提升了壓縮比。

目前在各種研究中，基于神經網絡的端到端圖像編碼面臨兩大問題：一是對于輸入的原始圖像信號表示機理有限，缺乏對目前廣泛應用的計算機視覺處理任務的支持；二是信號接收端資源有限，不足以支撐參數量龐大的神經網絡模型。

發明內容

為此，本申請實施例提供一種圖像壓縮方法和系統，在極高壓縮效率的情況下，保持重建圖像的高主觀視覺評價質量，并且節省解碼時間與資源開銷。

為了實現上述目的，本申請實施例提供如下技術方案：

根據本申請實施例的第一方面，提供了一種人臉圖像壓縮方法，所述方法包括：

從原始人臉圖像輸入風格編碼器和內容編碼器，以提取風格特征和結構特征；

分別進行概率估計和熵編碼，得到風格特征對應的風格編碼比特流和結構特征對應的結構編碼比特流，輸入解碼器和多任務分析網絡；

解碼器對所述風格編碼比特流和結構編碼比特流的圖像進行重建，輸出重建圖；多任務分析網絡對所述風格編碼比特流和結構編碼比特流進行語義理解分析，輸出圖像的語義信息。

可選地，分別進行概率估計和熵編碼，得到風格特征對應的風格編碼比特流和結構特征對應的結構編碼比特流，包括：

分別將風格特征和結構特征進行量化，得到量化后的風格特征和結構特征；

分別根據概率估計模型計算的概率估計結果將量化后的風格特征和結構特征進行熵編碼，得到風格特征對應的風格編碼比特流和結構特征對應的結構編碼比特流。

可選地，解碼器對所述風格編碼比特流和結構編碼比特流的圖像進行重建，輸出重建圖，包括：

通過解碼器中的融合模塊將風格編碼比特流和結構編碼比特流進行融合，通過多層感知MLP處理，以學習殘差塊中卷積層的均值和方差；

通過解碼器中的生成器對融合后的編碼比特流執行圖像壓縮任務，得到壓縮后的重建圖像；

通過所述判別器對所述壓縮后的重建圖像進行判別，得到損失優化函數；根據損失優化函數訓練所述生成器。

可選地，所述損失優化函數按照如下公式：

其中，D為判別器，E為內容編碼器和風格編碼器，G為生成器，P為概率估計模型，x為原始人臉圖像，為重建圖像，為量化后的風格特征和結構特征，p為概率估計結果，λ、β為超參數。

可選地，所述多任務分析網絡對所述風格編碼比特流和結構編碼比特流進行語義理解分析，輸出圖像的語義信息，包括：