[發明專利]基于輸入輸出互注意力和隱層自注意力的StyleGAN圖像重構方法

在審

• 申請號: 202310433614.8
• 申請日: 2023-04-21
• 公開（公告）號: CN116402915A
• 公開（公告）日: 2023-07-07
• 發明（設計）人: 孫力;夏思為
• 申請（專利權）人: 華東師范大學
• 主分類號: G06T11/00
• 分類號: G06T11/00;G06N3/045;G06N3/0475;G06N3/08
• 代理公司: 上海藍迪專利商標事務所(普通合伙) 31215
• 代理人: 徐筱梅;張翔

1.一種基于輸入輸出互注意力和隱層自注意力的StyleGAN圖像重構方法，其特征在于，該方法包括以下具體步驟：

步驟1：用編碼器將輸入圖像映射為特征，通過構建隱層自注意力與輸入互注意力模塊從特征中提取信息，得到隱層碼字；

步驟2：通過構建輸出互注意力模塊從隱層碼字中提取信息，得到風格碼字，將輸出的風格碼字送入預訓練的StyleGAN生成器，得到重構圖像；

步驟3：將編碼器、隱層自注意力與輸入互注意力模塊和輸出互注意力模塊組合成一個編碼網絡，固定StyleGAN生成器，訓練編碼網絡，實現圖像重構質量的提升。

2.根據權利要求1所述的圖像重構方法，其特征在于，所述隱層自注意力與輸入互注意力模塊，由若干隱層自注意力模塊與若干輸入互注意力模塊交叉串聯構成；隱層自注意力模塊由自注意力模塊構成，通過隱層碼字的自我提煉更新隱層碼字；輸入互注意力模塊由交叉注意力模塊構成，用編碼器提取的輸入圖像特征更新初始隱層碼字。

3.根據權利要求1所述的圖像重構方法，其特征在于，步驟2所述構建輸出互注意力模塊從隱層碼字中提取信息，得到風格碼字，具體包括：

步驟2-1：輸出互注意力模塊，由交叉注意力模塊構成；

步驟2-2：將隱層自注意力與輸入互注意力模塊輸出的隱層碼字L作為鍵值Key與數值Value兩種輸入，輸入到輸出互注意力模塊，其維度大小為B×M×C，B是輸入數據批量大小，M是隱層碼字數目，C是特征維度大小；

步驟2-3：隨機初始化風格碼字，其維度大小為B×N×C，將其輸入StyleGAN的風格映射網絡，并作為可學習參數，得到參數化的初始風格碼字；將參數化的初始風格碼字作為查詢值Query輸入，其維度大小為B×N×C，B和C與步驟2-2相同，N是風格碼字數目；

步驟2-4：按照下述公式(1)，用Query與Key的轉置計算交叉相似度矩陣S，其維度大小為B×N×M；

S＝softmax(Query×Key^T)?????????(1)

步驟2-5：按照下述公式(2)，將S與Value相乘后經過殘差連接、歸一化與前饋層，得到更新后的風格碼字W，其維度大小為B×N×C；

W＝FFN(Norm(Residual(S×Value)))?????(2)。

4.根據權利要求1所述的圖像重構方法，其特征在于，所述隱層碼字數目不等同于StyleGAN網絡指定的風格碼字數目，而是風格碼字數目的倍數，能夠進一步提取圖像信息。