[發明專利]一種面部通話視頻的分層編碼方法

有效

• 申請號: 202210053055.3
• 申請日: 2022-01-18
• 公開（公告）號: CN114067258B
• 公開（公告）日: 2022-05-03
• 發明（設計）人: 朱樹元;劉宇;劉光輝
• 申請（專利權）人: 電子科技大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V40/16;H04N19/70;G06T3/40;G06N3/04;G06K9/62;G06V10/80;G06V10/82
• 代理公司: 電子科技大學專利中心 51203
• 代理人: 甘茂

1.一種面部通話視頻的分層編碼方法，其特征在于，包括以下步驟：

步驟1、編碼，具體為：

步驟1.1、采用深度卷積神經網絡提取通話視頻幀的面部特征點得到面部特征點矩陣；

步驟1.2、利用面部特征點從待壓縮的通話視頻中提取關鍵幀；

步驟1.3、對通話視頻進行高倍下采樣，再采用HEVC壓縮得到基礎層，并再次提取基礎層的面部特征點得到面部特征點矩陣；

步驟1.4、將步驟1.1所得面部特征點矩陣與步驟1.3所得面部特征點矩陣做差，將所得殘差編碼作為特征層；

步驟1.5、將關鍵幀插入基礎層的插值序列采用HEVC壓縮得到增強層；

步驟2、解碼，具體為：

步驟2.1、分別對基礎層、特征層、增強層數據進行解碼；

步驟2.2、將解碼后基礎層、特征層、增強層數據輸入至多層視頻重建網絡，由多層視頻重建網絡輸出重建面部視頻；所述多層視頻重建網絡由特征提取模塊、特征融合模塊和圖像重建模塊組成；其中，

所述特征提取模塊由基礎層通道分支、增強層通道分支與特征層通道分支組成，基礎層通道分支的輸入為基礎層圖像Ib、輸出為Fb，增強層通道分支的輸入為關鍵幀圖像Ie、輸出為Fe，特征層通道分支的輸入為面部特征點圖像If、輸出為Ff；所述基礎層通道分支與增強層通道分支的網絡結構相同，均由網絡單元U1、網絡單元U2、網絡單元U3依次連接組成；網絡單元U1、網絡單元U2與網絡單元U3結構相同，均為：輸入Uin經過CONV3×3×64+ReLU+Dilated-CONV3×3×64_2+BatchNorm+ReLU+Dilated-CONV3×3×64_2+BatchNorm+ReLU后輸出Umid、網絡單元U的輸出為Uout=Umid+Uin；所述特征層通道分支為：CONV 1×1×64+ReLU+CONV 1×1×64+ReLU+CONV 1×1×64+ReLU；

所述特征融合模塊由多級特征融合單元MFFU和帶有殘差的密集連接殘差單元RRDU組成；多級特征融合單元MFFU的輸入為Fb、Fe、Ff，輸出為Fmffu；帶有殘差的密集連接殘差單元RRDU的輸入Fmffu、輸出為Frrdu；具體為：輸入Ff與Fe各經過CONV 1×1×64+ReLU后輸出Ff*與Fe*，Ff*與Fe*沿通道執行concatenation操作、再經過CONV 3×3×64+CONV 3×3×64后輸出M；輸入Fe經過CONV 3×3×64+ReLU+CONV 3×3×64+ReLU后輸出Fe**，Fe**與M進行點乘得到M**；輸入Fb經過CONV 3×3×64+ReLU+CONV 3×3×64+ReLU后輸出Fb*，Fb*與M**沿通道執行concatenation操作、再經過CONV 3×3×64+ReLU +CONV 3×3×64+ReLU后輸出Fmffu；

所述帶有殘差的密集連接殘差單元RRDU由3個RDU組成，具體為：RDU1的輸入為RDU1in=Fmffu、輸出為RDU1out，RDU2的輸入為RDU2in= RDU1out +RDU1in、輸出為RDU2out，RDU3的輸入為RDU3in=RDU2out+RDU2in、輸出為RDU3out，RRDU的輸出為Frrdu =RDU3out+RDU3in+RDU1in；

所述圖像重建模塊為：網絡單元U4+網絡單元U5+網絡單元U6+CONV 3×3×64+ReLU，網絡單元U4、網絡單元U5、網絡單元U6結構相同，且與網絡單元U1相同；圖像重建模塊的輸入為Frrdu、輸出為重建人臉圖像。