[發明專利]一種生成器、生成器訓練方法及避免圖像坐標粘連方法

有效

• 申請號: 202211438643.5
• 申請日: 2022-11-17
• 公開（公告）號: CN115496989B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 司馬華鵬;張茂林;王培雨
• 申請（專利權）人: 南京硅基智能科技有限公司
• 主分類號: G06V10/82
• 分類號: G06V10/82;G06V10/40;G06N3/0464;G06N3/048;G06N3/0475;G06N3/08
• 代理公司: 北京弘權知識產權代理有限公司 11363
• 代理人: 逯長明;占園

本申請提供一種基于門控網絡的生成器、生成器訓練方法和避免圖像坐標粘連方法。所述生成器通過圖像輸入層將待處理圖像處理為圖像序列，并將圖像序列輸入至特征編碼層，由多層特征編碼層使用門控卷積網絡對圖像序列進行編碼，得到圖像編碼。并由多層圖像解碼層使用逆門控卷積單元對圖像編碼進行解碼處理，得到目標圖像序列，最后由圖像輸出層將目標圖像序列進行拼接處理，以得到的目標圖像。待處理圖像在經過上述門控卷積網絡和逆門控卷積網絡的處理后，所得到的目標圖像中的人物特征更加明顯，使所生成數字人的面部圖像細節更加生動，解決現有生成器通過生成對抗網絡生成的數字人圖像出現的圖像坐標粘連問題，提高了用戶體驗。

技術領域

本申請涉及自然人機交互領域，尤其涉及一種生成器、生成器訓練方法及避免圖像坐標粘連方法。

背景技術

在2D數字人方向，基本都是以生成對抗網絡來生成數字人視頻，其采用的網絡如StyleGAN，CycleGAN等。生成對抗網絡由生成器和判別器兩部分構成，通過生成器與判別器的對抗訓練，以得到理想的模型效果。

但是StyleGAN3網絡對生成圖片坐標粘連問題進行分析后發現，坐標粘連的問題源自于通用的生成器網絡架構所采用的是卷積+非線性+上采樣等結構，而這樣的結構沒有做到很好的等變性。

為了解決上述問題，生成器通常會采用StyleGAN3網絡。StyleGAN3網絡在StyleGAN2的生成器網絡結構做了較大的調整。雖然StyleGAN3已經聲稱解決了該問題，但在實踐中，StyleGAN3的模型過于復雜，且需要大量的人工干預，導致對于自動化要求較高的應用場景，StyleGAN3難以得到運用，無法高效的解決生成對抗網絡在生成人臉視頻時所出現的坐標粘連的技術問題。

發明內容

為了解決生成對抗網絡在生成數字人的人臉視頻時出現坐標粘連，導致數字人的面部器官、毛發等細節模糊，降低用戶觀看時的體驗感的問題。

第一方面，本申請的一些實施例提出了一種基于門控網絡的生成器，所述生成器包括：圖像輸入層、特征編碼層、特征解碼層和圖像輸出層，其中，

所述圖像輸入層被配置為將待處理圖像處理為圖像序列，并將所述圖像序列輸入至所述特征編碼層；所述待處理圖像中包括至少一個目標人物；

所述特征編碼層被配置為使用門控卷積網絡對所述圖像序列進行編碼處理，得到圖像編碼；

所述特征解碼層被配置為使用逆門控卷積網絡對所述圖像編碼進行解碼處理，得到目標圖像序列；

所述圖像輸出層被配置為將所述目標圖像序列進行拼接處理，得到目標圖像，并輸出所述目標圖像。

在本申請的一個實施例中，所述門控卷積網絡包括特征過濾單元、膨脹卷積單元和歸一化層，其中，

所述特征過濾單元被配置為將從所述圖像序列中提取的圖像特征進行過濾，得到過濾結果；

所述膨脹卷積單元被配置為按照膨脹參數對所述圖像特征進行卷積處理，得到膨脹卷積結果；所述膨脹參數為膨脹卷積單元在進行卷積處理時，對每個圖像特征對應的數值之間填充的空白數值數量；

所述歸一化層被配置為將所述過濾結果與所述膨脹卷積結果的乘積進行歸一化處理，得到歸一化結果。

在本申請的一個實施例中，所述特征過濾單元包括2D卷積單元和激活函數；

所述2D卷積單元被配置為過濾所述圖像特征中的深層次特征；

所述激活函數被配置在所述深層次特征中引入非線性屬性，得到所述過濾結果。

在本申請的一個實施例中，所述待處理圖像中包括至少一個目標人物執行說話動作；所述生成器還包括第一特征編碼區、第二特征編碼區和音頻輸入層，其中，