[發(fā)明專利]一種人臉圖像壓縮方法和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202210013946.6
• 申請日: 2022-01-06
• 公開（公告）號: CN114519750A
• 公開（公告）日: 2022-05-20
• 發(fā)明（設計）人: 賈川民;張悅楓;馬思偉;王苫社
• 申請（專利權）人: 北京大學
• 主分類號: G06T9/00
• 分類號: G06T9/00;G06V40/16;G06K9/62;G06V10/80
• 代理公司: 北京辰權知識產權代理有限公司 11619
• 代理人: 李小朋

1.一種人臉圖像壓縮方法，其特征在于，所述方法包括：

從原始人臉圖像輸入風格編碼器和內容編碼器，以提取風格特征和結構特征；

分別進行概率估計和熵編碼，得到風格特征對應的風格編碼比特流和結構特征對應的結構編碼比特流，輸入解碼器和多任務分析網(wǎng)絡；

解碼器對所述風格編碼比特流和結構編碼比特流的圖像進行重建，輸出重建圖；多任務分析網(wǎng)絡對所述風格編碼比特流和結構編碼比特流進行語義理解分析，輸出圖像的語義信息。

2.如權利要求1所述的方法，其特征在于，所述分別進行概率估計和熵編碼，得到風格特征對應的風格編碼比特流和結構特征對應的結構編碼比特流，包括：

分別將風格特征和結構特征進行量化，得到量化后的風格特征和結構特征；

分別根據(jù)概率估計模型計算的概率估計結果將量化后的風格特征和結構特征進行熵編碼，得到風格特征對應的風格編碼比特流和結構特征對應的結構編碼比特流。

3.如權利要求1所述的方法，其特征在于，所述解碼器對所述風格編碼比特流和結構編碼比特流的圖像進行重建，包括：

通過解碼器中的融合模塊將風格編碼比特流和結構編碼比特流進行融合，通過多層感知MLP處理，以學習殘差塊中卷積層的均值和方差；

通過解碼器中的生成器對融合后的編碼比特流執(zhí)行圖像壓縮任務，得到壓縮后的重建圖像；

通過判別器對所述壓縮后的重建圖像進行判別，得到損失優(yōu)化函數(shù)；根據(jù)損失優(yōu)化函數(shù)訓練所述生成器。

4.如權利要求3所述的方法，其特征在于，所述損失優(yōu)化函數(shù)按照如下公式：

其中，D為判別器，E為內容編碼器和風格編碼器，G為生成器，P為概率估計模型，x為原始人臉圖像，為重建圖像，為量化后的風格特征和結構特征，p為概率估計結果，λ、β為超參數(shù)。

5.如權利要求1所述的方法，其特征在于，所述多任務分析網(wǎng)絡對所述風格編碼比特流和結構編碼比特流進行語義理解分析，輸出圖像的語義信息，包括：

將風格編碼比特流和結構編碼比特流輸入所述多任務分析網(wǎng)絡中，通過融合模塊對編碼比特流進行融合，再根據(jù)多任務分析損失函數(shù)對多任務分析網(wǎng)絡進行訓練，得到對應的任務結果，作為圖像的語義信息的輸出。

6.如權利要求5所述的方法，其特征在于，所述多任務分析損失函數(shù)L_multi按照如下公式計算：

L_multi＝λ_clsl_cls+λ_segl_seg

其中，l_cls、l_seg分別是分類任務與分割任務的損失函數(shù)，λ_cls、λ_seg是對應的權重超參數(shù)。

7.如權利要求1至6任一項所述的方法，其特征在于，所述方法還包括：通過對所述多任務分析損失函數(shù)的優(yōu)化，訓練所述多任務分析模型中的參數(shù)，以獲得全局最優(yōu)解；其中多任務分析模型的訓練中應用的總損失函數(shù)按照如下公式：

L＝L_EGP+L_D+γL_multi

其中，γ為超參數(shù)。

8.一種人臉圖像壓縮系統(tǒng)，其特征在于，所述系統(tǒng)包括：

特征提取模塊，用于從原始人臉圖像輸入風格編碼器和內容編碼器，以提取風格特征和結構特征；

編碼模塊，用于分別進行概率估計和熵編碼，得到風格特征對應的風格編碼比特流和結構特征對應的結構編碼比特流，輸入解碼器和多任務分析網(wǎng)絡；

壓縮解碼模塊，用于解碼器對所述風格編碼比特流和結構編碼比特流的圖像進行重建，輸出重建圖；

多任務分析模塊，用于多任務分析網(wǎng)絡對所述風格編碼比特流和結構編碼比特流進行語義理解分析，輸出圖像的語義信息。