[發明專利]基于對抗性生成和神經輻射場的臉譜表情遷移方法

在審

• 申請號: 202310080091.3
• 申請日: 2023-01-31
• 公開（公告）號: CN116052256A
• 公開（公告）日: 2023-05-02
• 發明（設計）人: 張玉梅;鄧文捷;楊紅紅;戎宇瑩;孫增國;趙焱青
• 申請（專利權）人: 陜西師范大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/82;G06N3/048;G06N3/0475;G06N3/096
• 代理公司: 西安永生專利代理有限責任公司 61201
• 代理人: 申忠才

一種基于對抗性生成和神經輻射場的臉譜表情遷移方法，由建立民俗文化人臉譜數據集、構建民俗文化遷移模型、訓練堆疊沙漏網絡、訓練對抗性生成網絡、訓練神經輻射場網絡、測試民俗文化遷移網絡步驟組成。通過識別人臉譜面部關鍵點，將人臉關鍵點識別范圍擴展到臉譜，提高了識別人臉譜關鍵點識別能力，通過訓練神經輻射場網絡生成具有驅動視頻表情特征的人臉譜圖的三維圖像，解決了現有表情遷移只能為二維圖像的技術問題，提高了視頻臉譜表情遷移的效果。

技術領域

本發明屬于圖像處理技術領域，具體涉及到人體圖像面部表情遷移。

背景技術

從2017年以來，表情遷移技術逐漸走進大眾視野，Deepfakes將一個人的臉換給另一個人，這項技術迅速在全球范圍內掀起熱潮。表情遷移是指通過運用深度學習技術將原始視頻中人物的表情動作遷移到目標人物臉上，讓目標人物做出相應的表情。這項應用計算機圖像處理以及深度學習相關的知識的技術能夠創作出許多生動有趣的作品，并且擁有廣闊的發展前景，吸引了許多研究者對表情遷移相關技術的研究。近年來表情遷移技術發展迅速，但這項技術的應用往往局限于二維圖像，表情遷移所使用的訓練數據集以歐美人臉圖像為主，像臉譜這樣的抽象人臉很難識別，遷移不能很好地進行。因此實現一個可以將表情很好地遷移到臉譜等民俗文化元素上并且擁有可以多角度觀察的模型很有意義。

發明內容

本發明所要解決的技術問題在于克服上述現有技術問題的缺點，提供一種可以生成三維立體圖像的基于對抗性生成和神經輻射場的臉譜表情遷移方法。

解決上述技術問題采用的技術方案是由下述步驟組成:

(1)建立民俗文化人臉譜數據集

1)從網上獲取公開的人臉譜圖像，將圖片保存為網絡圖形格式，將人臉譜圖像裁剪成正方形，調整圖片大小為256×256像素，進行灰度處理。

2)對臉譜圖像進行手動關鍵點標注，建立民俗文化人臉譜圖像數據集Y，Y∈{a_n,b_n,c_i,d_n,e_n}，其中a_n表示存儲關鍵點的編號，a_n∈{1,2,...,27200}，b_n表示該關鍵點所屬圖片編號，b_n∈{1,2,...,400}，c_i表示該關鍵點名稱，c_i∈{1,2,...,64}，d_n表示該關鍵點的橫坐標，d_n∈{1,2,...,256}，e_n表示關鍵點的縱坐標，e_n∈{1,2,...,256}；采用人臉關鍵點標注法對臉譜圖像進行標注，將關鍵點數據轉化成字符分隔值格式存儲。

3)劃分訓練集、驗證集、測試集

將臉譜圖像分80％作為訓練集，15％作為驗證集，5％作為測試集。

(2)構建民俗文化遷移網絡

民俗文化遷移網絡由堆疊沙漏網絡與對抗性生成網絡、神經輻射場網絡依次串聯構成；

所述的堆疊沙漏網絡由68個依次串聯的沙漏子模塊構成。

所述的對抗性生成網絡由映射網絡與生成網絡串聯構成，映射網絡由8個依次串聯的全連接層構成；生成網絡由卷積核大小為3×3、填充大小是1、步長大小為1的卷積模塊構成。

所述的神經輻射場網絡由8層依次串聯的全連接層組成。

(3)訓練堆疊沙漏網絡

1)確定堆疊沙漏網絡的目標函數

按下式確定堆疊沙漏網絡的損失函數MSELoss：