[發(fā)明專利]一種基于強化學(xué)習(xí)的人臉屬性編輯方法

在審

• 申請?zhí)枺?/td>: 202110060945.2
• 申請日: 2021-01-18
• 公開（公告）號: CN112800893A
• 公開（公告）日: 2021-05-14
• 發(fā)明（設(shè)計）人: 譚曉陽;任國偉
• 申請（專利權(quán)）人: 南京航空航天大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/08
• 代理公司: 南京蘇高專利商標事務(wù)所(普通合伙) 32204
• 代理人: 王安琪

1.一種基于強化學(xué)習(xí)的人臉屬性編輯方法，其特征在于，包括如下步驟：

(1)隨機初始化智能體和環(huán)境并清空經(jīng)驗回放集合；

(2)在經(jīng)過預(yù)訓(xùn)練的生成器模型的潛在空間中獲取所需訓(xùn)練人臉的向量表示，并將其作為環(huán)境的初始狀態(tài)；

(3)將步驟(2)中獲取的初始狀態(tài)傳入Actor當(dāng)前網(wǎng)絡(luò)，經(jīng)過Actor當(dāng)前網(wǎng)絡(luò)的計算得到一個確定的狀態(tài)動作值，該狀態(tài)動作值即是要訓(xùn)練的屬性方向向量；

(4)執(zhí)行步驟(3)中得到的狀態(tài)動作值，進入下一狀態(tài)，記錄該狀態(tài)是否為終止?fàn)顟B(tài)，并得到執(zhí)行動作的獎勵；

(5)將步驟(2)(3)(4)中的前一狀態(tài)、執(zhí)行動作、獎勵、下一狀態(tài)、是否為終止?fàn)顟B(tài)作為五元組存入經(jīng)驗回放集合；

(6)從經(jīng)驗回放集合中采樣一個批次的樣本計算當(dāng)前目標Q值；

(7)使用均方差損失函數(shù)通過神經(jīng)網(wǎng)絡(luò)的梯度反向傳播依次更新Critic當(dāng)前網(wǎng)絡(luò)和Actor當(dāng)前網(wǎng)絡(luò)的參數(shù)；

(8)按照更新頻率利用當(dāng)前網(wǎng)絡(luò)的參數(shù)更新目標網(wǎng)絡(luò)的參數(shù)。

2.如權(quán)利要求1所述的基于強化學(xué)習(xí)的人臉屬性編輯方法，其特征在于，步驟(2)中，人臉向量表示作為初始狀態(tài)的具體步驟如下：

(2.1)選定隨機數(shù)種子并生成固定的512維隨機向量；

(2.2)將步驟(2.1)得到的512維向量輸入生成模型的映射網(wǎng)絡(luò)模塊，得到512維的中間潛在向量并將其作為強化學(xué)習(xí)模型的初始狀態(tài)。

3.如權(quán)利要求1所述的基于強化學(xué)習(xí)的人臉屬性編輯方法，其特征在于，步驟(3)中，計算確定狀態(tài)動作值的具體步驟如下：

(3.1)將初始狀態(tài)輸入Actor當(dāng)前網(wǎng)絡(luò)，計算并輸出相同維度的狀態(tài)動作值；

(3.2)以(3.1)中的得到的狀態(tài)動作值為均值，以初始設(shè)置值3為標準差對狀態(tài)動作值添加高斯噪聲；

(3.3)歸一化添加噪聲后的狀態(tài)動作值，并將標準差乘以衰減因子0.9996。

4.如權(quán)利要求1所述的基于強化學(xué)習(xí)的人臉屬性編輯方法，其特征在于，步驟(4)中，執(zhí)行動作并得到獎勵反饋的具體步驟如下：

(4.1)將步驟(3)中得到的狀態(tài)動作值與步驟(2)得到的初始狀態(tài)值相加作為下一狀態(tài)值；

(4.2)將前后兩個狀態(tài)值輸入生成器的合成模塊生成兩張具體的人臉圖像；

(4.3)將步驟(4.2)得到的兩張人臉圖像輸入到人臉屬性評價器中，得到兩張圖像的屬性評分；

(4.4)針對需要編輯的某一屬性，計算兩張圖像在該屬性上的差異，返回數(shù)值化的獎勵。

5.如權(quán)利要求1所述的基于強化學(xué)習(xí)的人臉屬性編輯方法，其特征在于，步驟(6)中，當(dāng)前目標Q值的具體步驟如下：

(6.1)從步驟(5)中的經(jīng)驗回放集合中采樣m個樣本{w_i，a_i，r_i，w_i+1，is_end_i}，i＝1，2，...，m；

(6.2)如果is_end_i為真，則當(dāng)前目標Q值y_i＝r_i；

(6.3)如果is_end_i為假，則當(dāng)前目標Q值其中π′和θ′分別代表Actor目標網(wǎng)絡(luò)和Actor目標網(wǎng)絡(luò)的參數(shù)，Q′和分別代表Critic目標網(wǎng)絡(luò)和Critic目標網(wǎng)絡(luò)的參數(shù)。

6.如權(quán)利要求1所述的基于強化學(xué)習(xí)的人臉屬性編輯方法，其特征在于，步驟(7)中，通過反向傳播更新Critic當(dāng)前網(wǎng)絡(luò)的損失函數(shù)為：

更新Actor當(dāng)前網(wǎng)絡(luò)參數(shù)的損失函數(shù)為：

其中a_i＝π(w_i|θ)。

7.如權(quán)利要求1所述的基于強化學(xué)習(xí)的人臉屬性編輯方法，其特征在于，步驟(8)中利用當(dāng)前網(wǎng)絡(luò)的參數(shù)更新目標網(wǎng)絡(luò)的參數(shù)的具體公式為：

θ′＝τθ+(1-τ)θ′。