[發明專利]人臉情緒合成方法及裝置

有效

• 申請號: 202010095755.X
• 申請日: 2020-02-17
• 公開（公告）號: CN111461959B
• 公開（公告）日: 2023-04-25
• 發明（設計）人: 沈海斌;孔家慧;黃科杰
• 申請（專利權）人: 浙江大學
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06V40/16;G06V10/44;G06V10/82;G06V10/80;G06N3/0455;G06N3/0464;G06N3/0475;G06N3/084;G06N3/094
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 鄭海峰

本發明公開了一種人臉情緒合成方法及裝置。包括獲取當前幀彩色圖像，并提取人臉圖像，調整到預設大小；檢測人臉圖像的若干個預設關鍵點位置，根據關鍵點位置繪制人臉各個部分的輪廓圖，獲取人臉輪廓圖像；將人臉圖像，人臉輪廓圖像以及目標情緒標簽輸入至第一級卷積神經網絡獲取粗合成人臉圖像；利用粗合成人臉圖像和原始人臉圖像的殘差圖像作為輸入，使用第二級卷積神經網絡預測圖像掩膜；根據粗合成人臉圖像，人臉圖像和圖像掩膜計算修正的合成人臉圖像。可以在多種環境光照，人臉遮擋和極端姿態條件下合成自然逼真的具有目標情緒的人臉圖像或人臉視頻。

技術領域

本發明屬于人臉情緒合成技術領域，特別涉及人臉情緒合成方法及裝置。

背景技術

人臉情緒合成是指通過技術手段改變給定的圖像或者視頻中人物的情緒表達，例如自然，高興，驚訝，傷心等。人臉情緒合成在圖像編輯軟件，拍照軟件，小視頻軟件中有較多娛樂應用，在圖片制作，影視制作領域也有商業應用價值。然而，現有的人臉情緒合成還不夠成熟，主要在一些特效APP上使用，應用能力還不夠強。當前技術主要有以下缺點：(1)情緒不夠豐富；(2)對視頻進行逐幀處理得到的合成視頻連貫性不夠，已有效果合成的情緒表達方式比較統一，例如對人物演講的視頻進行處理后，無法保留人物原本演講的內容，不夠自然，限制了在小視頻，影視制作領域的應用能力；(3)在復雜的光照環境，人臉有遮擋和人物姿態較大的情況下，合成效果不穩定，魯棒性較差。

發明內容

為了解決上述技術問題，本發明提出一種可以在多種環境光照，人臉遮擋和極端姿態條件下合成自然逼真的具有目標情緒的人臉圖像或人臉視頻的方法，并設計了一種用于實現該方法的裝置。

本發明具體采用如下技術方案：

一種人臉情緒合成方法，包括：

步驟S101，獲取當前幀彩色圖像；

步驟S102，從所述當前幀彩色圖像中提取人臉圖像，調整所述人臉圖像到預設大小；

步驟S103，根據所述人臉圖像的若干個預設關鍵點位置，獲取人臉輪廓圖像；

步驟S104，設定目標情緒標簽，將所述人臉圖像，所述人臉輪廓圖像以及目標情緒標簽輸入至第一級卷積神經網絡，獲取粗合成人臉圖像；所述目標情緒標簽是指所期望的粗合成人臉圖像的情緒；

步驟S105，將所述粗合成人臉圖像和所述人臉圖像作差獲取殘差圖像，輸入至第二級卷積神經網絡獲得圖像掩膜；

步驟S106，利用所述圖像掩膜對所述粗合成人臉圖像和所述人臉圖像進行計算，獲取最終修正的合成人臉圖像。

作為本發明的優選，所述第一級卷積神經網絡包括圖像編碼器、輪廓編碼器、圖像解碼器和輪廓解碼器；所述圖像編碼器和輪廓編碼器均由若干個下采樣層組成，將調整后的所述人臉圖像輸入至圖像編碼器，將所述人臉輪廓圖像和情緒標簽拼接后輸入至輪廓編碼器，將圖像編碼器與輪廓編碼器輸出的編碼特征拼接，經若干個級聯的殘差塊處理后得到混合特征；所述圖像解碼器包括若干個上采樣層和拼接層，每一個上采樣層之后跟著一個拼接層，最后一個拼接層連接輸出層；所述輪廓解碼器由若干個上采樣層組成，最后一個上采樣層連接輸出層；將所述混合特征輸入至圖像解碼器，其中每經過一層上采樣層，將得到的特征與由圖像編碼器計算得到的同尺寸特征進行拼接，獲得粗合成人臉圖像；將所述混合特征輸入至輪廓解碼器，獲得合成人臉輪廓圖像。

作為本發明的優選，所述第二級卷積神經網絡包括若干個殘差塊以及一層卷積層；將所述粗合成人臉圖像減去調整后的所述人臉圖像，獲得殘差圖像；將所述殘差圖像輸入至若干個級聯的殘差塊，最后經過一層卷積層處理，獲得圖像掩模。