[發明專利]基于對抗性生成和神經輻射場的臉譜表情遷移方法

在審

• 申請號: 202310080091.3
• 申請日: 2023-01-31
• 公開（公告）號: CN116052256A
• 公開（公告）日: 2023-05-02
• 發明（設計）人: 張玉梅;鄧文捷;楊紅紅;戎宇瑩;孫增國;趙焱青
• 申請（專利權）人: 陜西師范大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/82;G06N3/048;G06N3/0475;G06N3/096
• 代理公司: 西安永生專利代理有限責任公司 61201
• 代理人: 申忠才

1.一種基于對抗性生成和神經輻射場的臉譜表情遷移方法，其特征在于由以下步驟組成：

(1)建立民俗文化人臉譜數據集

1)從網上獲取公開的人臉譜圖像，將圖片保存為網絡圖形格式，將人臉譜圖像裁剪成正方形，調整圖片大小為256×256像素，進行灰度處理；

2)對臉譜圖像進行手動關鍵點標注，建立民俗文化人臉譜圖像數據集Y，Y∈{a_n,b_n,c_i,d_n,e_n}，其中a_n表示存儲關鍵點的編號，a_n∈{1,2,...,27200}，b_n表示該關鍵點所屬圖片編號，b_n∈{1,2,...,400}，c_i表示該關鍵點名稱，c_i∈{1,2,...,64}，d_n表示該關鍵點的橫坐標，d_n∈{1,2,...,256}，e_n表示關鍵點的縱坐標，e_n∈{1,2,...,256}；采用人臉關鍵點標注法對臉譜圖像進行標注，將關鍵點數據轉化成字符分隔值格式存儲；

3)劃分訓練集、驗證集、測試集

將臉譜圖像分80％作為訓練集，15％作為驗證集，5％作為測試集；

(2)構建民俗文化遷移網絡

民俗文化遷移網絡由堆疊沙漏網絡與對抗性生成網絡、神經輻射場網絡依次串聯構成；

所述的堆疊沙漏網絡由68個依次串聯的沙漏子模塊構成；

所述的對抗性生成網絡由映射網絡與生成網絡串聯構成，映射網絡由8個依次串聯的全連接層構成；生成網絡由卷積核大小為3×3、填充大小是1、步長大小為1的卷積模塊構成；

所述的神經輻射場網絡由8層依次串聯的全連接層組成；

(3)訓練堆疊沙漏網絡

1)確定堆疊沙漏網絡的目標函數

按下式確定堆疊沙漏網絡的損失函數MSELoss：

其中i為熱圖的像素點橫坐標，j為熱圖的像素點縱坐標，a_ij為預測關鍵點的高斯分布值，b_ij為關鍵點實際高斯分布值；

按下式確定堆疊沙漏網絡的激活函數relu(x)：

其中x表式上一層的輸出；

2)將訓練集輸入堆疊沙漏網絡訓練

將訓練集的50％輸入堆疊沙漏網絡進行訓練，優化器采用Adam優化器，學習率設為0.001，訓練至堆疊沙漏網絡的損失函數MSELoss收斂；

(4)訓練對抗性生成網絡

1)確定對抗性生成網絡的目標函數

按下式確定對抗性生成網絡的激活函數LKrelu(σ)：

其中，σ是對抗性生成網絡的輸入，ε取值為[0.1,0.2]；

按下式確定對抗性生成網絡的交叉熵損失函數f：

其中，gr_i是第i張圖像是否是生成圖像，gr_i表示第i張圖像是生成圖像時取值為1，不是生成圖像時取值為0；gf是該圖像判斷為不是生成圖像的得分，gf的取值為(0,1]，n表示圖像總數量，n為有限的正整數；

2)將訓練集輸入對抗性生成網絡訓練，生成訓練集對應的二進制格式文件，將數據輸入對抗性生成網絡進行訓練，優化器采用adam優化器,學習率設置為0.01，訓練至對抗性生成網絡收斂；

(5)訓練神經輻射場網絡

1)確定神經輻射場網絡的目標函數

按下式確定神經輻射場網絡的損失函數L1：

其中，pl_k是網絡預測第K個像素點的輻射值，rl_k是第K個像素點實際的輻射值，m表示圖片的總像素點，m為有限的正整數；

按下式確定神經輻射場網絡的激活函數relu(α)：

其中，α表示上一個全連接層的輸出；

2)制作神經輻射場網絡訓練集

將對抗性生成網絡訓練后輸出圖片制作成神經輻射場網絡的數據集，生成每一種臉譜的不同表情輸出作為神經輻射場網絡的原始訓練數據；

3)將對抗性生成網絡訓練后生成的數據集輸入神經輻射場網絡進行訓練，將訓練集數據輸入神經輻射場網絡進行訓練，每一種臉譜訓練出對應的臉譜三維圖像，生成對應臉譜表情遷移的三維圖像；將驗證集輸入民俗文化遷移網絡進行驗證，調整模型參數；

(6)測試民俗文化遷移網絡

將測試集輸入到民俗文化遷移網絡中進行測試。