[發明專利]人臉情緒合成方法及裝置

有效

• 申請號: 202010095755.X
• 申請日: 2020-02-17
• 公開（公告）號: CN111461959B
• 公開（公告）日: 2023-04-25
• 發明（設計）人: 沈海斌;孔家慧;黃科杰
• 申請（專利權）人: 浙江大學
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06V40/16;G06V10/44;G06V10/82;G06V10/80;G06N3/0455;G06N3/0464;G06N3/0475;G06N3/084;G06N3/094
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 鄭海峰

1.一種人臉情緒合成方法，其特征在于，包括：

步驟S101，獲取當前幀彩色圖像；

步驟S102，從所述當前幀彩色圖像中提取人臉圖像，調整所述人臉圖像到預設大小；

步驟S103，根據所述人臉圖像的若干個預設關鍵點位置，獲取人臉輪廓圖像；

步驟S104，設定目標情緒標簽，將所述人臉圖像，所述人臉輪廓圖像以及目標情緒標簽輸入至第一級卷積神經網絡，獲取粗合成人臉圖像；所述目標情緒標簽是指所期望的粗合成人臉圖像的情緒；

步驟S105，將所述粗合成人臉圖像和所述人臉圖像作差獲取殘差圖像，輸入至第二級卷積神經網絡獲得圖像掩膜；

步驟S106，利用所述圖像掩膜對所述粗合成人臉圖像和所述人臉圖像進行計算，獲取最終修正的合成人臉圖像。

2.根據權利要求1所述的人臉情緒合成方法，其特征在于，所述步驟S103具體為：檢測調整后的所述人臉圖像的68個關鍵點坐標，根據68個關鍵點坐標在預設大小的空白圖像上繪制人臉各個部分的輪廓，獲取人臉輪廓圖像。

3.根據權利要求1所述的人臉情緒合成方法，其特征在于，所述第一級卷積神經網絡包括圖像編碼器、輪廓編碼器、圖像解碼器和輪廓解碼器；所述圖像編碼器和輪廓編碼器均由若干個下采樣層組成，將調整后的所述人臉圖像輸入至圖像編碼器，將所述人臉輪廓圖像和情緒標簽拼接后輸入至輪廓編碼器，將圖像編碼器與輪廓編碼器輸出的編碼特征拼接，經若干個級聯的殘差塊處理后得到混合特征；

所述圖像解碼器包括若干個上采樣層和拼接層，每一個上采樣層之后跟著一個拼接層，最后一個拼接層連接輸出層；所述輪廓解碼器由若干個上采樣層組成，最后一個上采樣層連接輸出層；將所述混合特征輸入至圖像解碼器，其中每經過一層上采樣層，將得到的特征與由圖像編碼器計算得到的同尺寸特征進行拼接，獲得粗合成人臉圖像；將所述混合特征輸入至輪廓解碼器，獲得合成人臉輪廓圖像。

4.根據權利要求1所述的人臉情緒合成方法，其特征在于，所述第二級卷積神經網絡包括若干個殘差塊以及一層卷積層；將所述粗合成人臉圖像減去調整后的所述人臉圖像，獲得殘差圖像；將所述殘差圖像輸入至若干個級聯的殘差塊，最后經過一層卷積層處理，獲得圖像掩模。

5.根據權利要求1所述的人臉情緒合成方法，其特征在于，在步驟S106中，最終修正的合成人臉圖像滿足下述關系式：

I＝Isrc*(1-Mask)+Isyn*Mask

其中，I為最終修正的合成人臉圖像，Isrc為調整后的人臉圖像，Isyn為所述粗合成的人臉圖像，Mask為所述圖像掩膜。

6.一種人臉情緒合成裝置，其特征在于，包括：

圖像獲取模塊，用于獲取當前幀的彩色圖像；

人臉提取模塊，用于從當前幀的彩色圖像中提取人臉圖像并調整大小；

輪廓提取模塊，用于從所述人臉圖像中檢測若干個關鍵點坐標并繪制人臉輪廓圖像；

粗合成模塊，用于利用第一級卷積神經網絡對調整后的所述人臉圖像、人臉輪廓圖像以及目標情緒標簽進行處理，獲取粗合成的人臉圖像，其中，目標情緒標簽是指所期望的粗合成人臉圖像的情緒；

修正模塊，用于利用第二級卷積神經網絡對調整后的所述人臉圖像，所述粗合成的人臉圖像之間的殘差進行處理，獲取圖像掩膜，并根據圖像掩膜計算最終修正的合成人臉圖像。

7.如權利要求6所述的人臉情緒合成裝置，其特征在于，所述人臉提取模塊包括：

提取單元：用于從當前幀彩色圖像中提取所述人臉圖像；

調整單元：用于調整所述人臉圖像到預設大小。

8.如權利要求6所述的人臉情緒合成裝置，其特征在于，所述輪廓提取模塊包括：

檢測單元：用于從調整后的所述人臉圖像檢測關鍵點的坐標；

繪制單元：用于創建預設大小的空白圖像并根據關鍵點坐標繪制對應的人臉部分的輪廓。