[發(fā)明專利]基于深度學習的人臉圖像壓縮方法及裝置

有效

• 申請?zhí)枺?/td>: 202010925736.5
• 申請日: 2020-09-04
• 公開（公告）號: CN112053408B
• 公開（公告）日: 2021-05-25
• 發(fā)明（設(shè)計）人: 段一平;陶曉明;胡舒展;劉永嘉;張栩銘;陸建華
• 申請（專利權(quán)）人: 清華大學
• 主分類號: G06T9/00
• 分類號: G06T9/00;G06T7/529;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京超凡宏宇專利代理事務(wù)所(特殊普通合伙) 11463
• 代理人: 安衛(wèi)靜

1.一種基于深度學習的人臉圖像壓縮方法，其特征在于，包括：

基于平均人臉圖像和主動外觀模型，將測試人臉圖像分解為形狀分量和紋理分量；

利用量化熵編碼器對所述形狀分量進行編碼壓縮，得到第一壓縮結(jié)果；

利用訓練好的卷積神經(jīng)網(wǎng)絡(luò)編碼器對所述紋理分量進行編碼壓縮，得到第二壓縮結(jié)果；

將所述第一壓縮結(jié)果和第二壓縮結(jié)果確定為人臉圖像壓縮結(jié)果；

所述方法還包括：

獲取訓練樣本集，所述訓練樣本集中包括預設(shè)個數(shù)的訓練樣本，所述訓練樣本包括：原始人臉圖像，原始紋理分量，重建的原始紋理分量，重建原始人臉圖像；

基于所述訓練樣本集和預設(shè)優(yōu)化目標，對卷積神經(jīng)網(wǎng)絡(luò)編碼器和反卷積神經(jīng)網(wǎng)絡(luò)解碼器進行聯(lián)合優(yōu)化，得到訓練好的卷積神經(jīng)網(wǎng)絡(luò)編碼器和訓練好的反卷積神經(jīng)網(wǎng)絡(luò)解碼器；其中，所述預設(shè)優(yōu)化目標包括：所述原始紋理分量與所述重建的原始紋理分量之間的均方誤差函數(shù)，和所述原始人臉圖像和重建原始人臉圖像之間的結(jié)構(gòu)相似性函數(shù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，基于平均人臉圖像和主動外觀模型，將測試人臉圖像分解為形狀分量和紋理分量，包括：

獲取平均人臉圖像的預設(shè)標志點坐標；

將所述測試人臉圖像輸入至所述主動外觀模型，得到測試人臉圖像的面部標志點坐標；

基于所述測試人臉圖像的面部標志點坐標和所述平均人臉圖像的預設(shè)標志點坐標，確定測試人臉圖像的預設(shè)標志點坐標；

基于測試人臉圖像的預設(shè)標志點坐標，確定所述形狀分量；

基于所述形狀分量與紋理分量之間的預設(shè)關(guān)系和所述形狀分量，確定所述紋理分量。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述訓練好的卷積神經(jīng)網(wǎng)絡(luò)編碼器包括至少一個卷積塊，每個所述卷積塊包括：至少一個卷積層、至少一個池化層和第一激活層；

利用訓練好的卷積神經(jīng)網(wǎng)絡(luò)編碼器對所述紋理分量進行編碼壓縮，得到第二壓縮結(jié)果，包括：

將所述紋理分量輸入至所述訓練好的卷積神經(jīng)網(wǎng)絡(luò)編碼器，經(jīng)所述卷積層、所述池化層和所述第一激活層學習特征，得到特征圖像；

將所述特征圖像確定為所述第二壓縮結(jié)果。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，在將所述第一壓縮結(jié)果和第二壓縮結(jié)果確定為人臉圖像壓縮結(jié)果之后，還包括：

利用反量化熵解碼器對所述第一壓縮結(jié)果進行解碼，得到重建的形狀分量；

利用訓練好的反卷積神經(jīng)網(wǎng)絡(luò)解碼器對所述第二壓縮結(jié)果進行解碼，得到重建的紋理分量；

將所述重建的形狀分量和所述重建的形狀分量進行融合，得到與所述測試人臉對應(yīng)的重建人臉圖像。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述訓練好的反卷積神經(jīng)網(wǎng)絡(luò)解碼器包括至少一個反卷積塊，每個所述反卷積塊包括：至少一個反卷積層和第二激活層；

利用訓練好的反卷積神經(jīng)網(wǎng)絡(luò)解碼器對所述第二壓縮結(jié)果進行解碼，得到重建的紋理分量，包括：

將所述第二壓縮結(jié)果輸入至所述訓練好的反卷積神經(jīng)網(wǎng)絡(luò)解碼器，經(jīng)所述反卷積層和所述第二激活層特征提取，得到反卷積圖像；

將所述反卷積圖像確定為所述重建的紋理分量。

6.根據(jù)權(quán)利要求4所述的方法，其特征在于，在將所述重建的形狀分量和所述重建的形狀分量進行融合，得到與所述測試人臉對應(yīng)的重建人臉圖像之后，還包括：

基于所述測試人臉圖像，對所述重建人臉圖像進行質(zhì)量評價，得到質(zhì)量評價結(jié)果。