[發(fā)明專利]低清圖像重建超分辨率人臉圖像的方法、系統(tǒng)及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202210296363.9
• 申請日: 2022-03-24
• 公開（公告）號: CN114820303A
• 公開（公告）日: 2022-07-29
• 發(fā)明（設(shè)計）人: 邵文澤;羅維維
• 申請（專利權(quán)）人: 南京郵電大學(xué)
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06V40/16;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 南京縱橫知識產(chǎn)權(quán)代理有限公司 32224
• 代理人: 馮寧

1.一種低清圖像重建超分辨率人臉圖像的方法，其特征在于，包括：

將低分辨率圖像輸入預(yù)訓(xùn)練漸進(jìn)式生成對抗網(wǎng)絡(luò)中，獲得隱編碼、通道權(quán)重；其中，預(yù)訓(xùn)練漸進(jìn)式生成對抗網(wǎng)絡(luò)的參數(shù)權(quán)重由大數(shù)據(jù)量高清人臉數(shù)據(jù)訓(xùn)練得到；

將隱編碼和通道權(quán)重輸入預(yù)訓(xùn)練漸進(jìn)式生成對抗網(wǎng)絡(luò)的迭代單元，獲得迭代的多重隱編碼和通道權(quán)重；

判斷多重隱編碼和通道權(quán)重的迭代次數(shù)是否大于預(yù)設(shè)的迭代次數(shù)閾值，將大于預(yù)設(shè)的迭代次數(shù)閾值的多重隱編碼和通道權(quán)重輸出；

基于輸出的多重隱編碼和通道權(quán)重生成的最終超分辨率的高清人臉圖像。

2.根據(jù)權(quán)利要求1所述的一種低清圖像重建超分辨率人臉圖像的方法，其特征在于，所述預(yù)訓(xùn)練漸進(jìn)式生成對抗網(wǎng)絡(luò)中預(yù)設(shè)有迭代次數(shù)閾值和高斯隨機(jī)初始化參數(shù)。

3.根據(jù)權(quán)利要求1所述的一種低清圖像重建超分辨率人臉圖像的方法，其特征在于，將隱編碼和通道權(quán)重輸入預(yù)訓(xùn)練漸進(jìn)式生成對抗網(wǎng)絡(luò)的迭代單元，獲得迭代的多重隱編碼和通道權(quán)重的方法包括：

將隱編碼與對應(yīng)的自適應(yīng)通道權(quán)重參數(shù)分成兩組參數(shù)，兩組參數(shù)分別代入預(yù)訓(xùn)練漸進(jìn)式生成對抗網(wǎng)絡(luò)迭代單元，獲得迭代的多重隱編碼和通道權(quán)重，其中，預(yù)訓(xùn)練漸進(jìn)式生成對抗網(wǎng)絡(luò)的迭代單元在首次迭代時對隱編碼的參數(shù)進(jìn)行高斯隨機(jī)初始化、通道權(quán)重的參數(shù)進(jìn)行均值初始化；

所述迭代單元由預(yù)訓(xùn)練漸進(jìn)式生成對抗網(wǎng)絡(luò)不同組合層所關(guān)聯(lián)的多個子網(wǎng)絡(luò)中的迭代計算單元組成，并在迭代過程中通過多個損失函數(shù)反向傳播優(yōu)化隱編碼和自適應(yīng)通道權(quán)重，獲得迭代優(yōu)化多次的多重隱編碼和通道權(quán)重。

4.根據(jù)權(quán)利要求3所述的一種低清圖像重建超分辨率人臉圖像的方法，其特征在于，所述兩組參數(shù)分別為第一組參數(shù)和第二組參數(shù)；所述預(yù)訓(xùn)練漸進(jìn)式生成對抗網(wǎng)絡(luò)的組合層包括：第一組合層、第二組合層和第三組合層。

5.根據(jù)權(quán)利要求4所述的一種低清圖像重建超分辨率人臉圖像的方法，其特征在于，所述將隱編碼與對應(yīng)的自適應(yīng)通道權(quán)重參數(shù)分成兩組參數(shù)，兩組參數(shù)分別代入預(yù)訓(xùn)練漸進(jìn)式生成對抗網(wǎng)絡(luò)迭代單元，獲得迭代的多重隱編碼和通道權(quán)重的方法包括；

第一組參數(shù)在被第一組合層分開的第一子網(wǎng)絡(luò)和第二子網(wǎng)絡(luò)上進(jìn)行迭代，第二組參數(shù)在被第二組合層分開的第一子網(wǎng)絡(luò)和第二子網(wǎng)絡(luò)上進(jìn)行迭代，輸出兩組隱編碼和權(quán)重參數(shù)；其中，每組隱編碼輸入到對應(yīng)的組合層之前的第一子網(wǎng)絡(luò)上，每個隱編碼經(jīng)過第一子網(wǎng)絡(luò)生成對應(yīng)的第一中間特征，并依據(jù)自適應(yīng)通道權(quán)重將每組隱編碼生成的第一中間特征組合成第二中間特征，而后累加融合所有第二中間特征生成第三中間特征；第三中間特征輸入到第二子網(wǎng)絡(luò)上生成人臉圖像，并通過多個損失函數(shù)分別反向傳播優(yōu)化隱編碼和自適應(yīng)通道權(quán)重，獲得迭代優(yōu)化后的兩組隱編碼和自適應(yīng)通道權(quán)重；

兩組隱編碼和權(quán)重參數(shù)通過第三組合層的第一子網(wǎng)絡(luò)和第二子網(wǎng)絡(luò)上進(jìn)行分別進(jìn)行迭代，輸出多重隱編碼和自適應(yīng)通道權(quán)重。