[發(fā)明專利]用GAN減少圖像的畸變的學(xué)習(xí)方法及裝置、測試方法及裝置

有效

• 申請?zhí)枺?/td>: 202010017403.2
• 申請日: 2020-01-08
• 公開（公告）號(hào): CN111489298B
• 公開（公告）日: 2023-04-14
• 發(fā)明（設(shè)計(jì)）人: 金桂賢;金镕重;金寅洙;金鶴京;南云鉉;夫碩焄;成明哲;呂東勛;柳宇宙;張?zhí)┬?/a>;鄭景中;諸泓模;趙浩辰
• 申請（專利權(quán)）人: 斯特拉德視覺公司
• 主分類號(hào): G06T5/00
• 分類號(hào): G06T5/00
• 代理公司: 北京同立鈞成知識(shí)產(chǎn)權(quán)代理有限公司 11205
• 代理人: 延美花;臧建明

1.一種學(xué)習(xí)方法，是利用包括生成網(wǎng)絡(luò)與辨別網(wǎng)絡(luò)的生成對抗網(wǎng)絡(luò)減少穩(wěn)定發(fā)生抖動(dòng)的圖像的過程中生成的變形的圖像上發(fā)生的畸變的學(xué)習(xí)方法，其特征在于，包括：

(a)獲取到至少一個(gè)初始圖像時(shí)，學(xué)習(xí)裝置使調(diào)整層調(diào)整與包含于所述初始圖像的像素對應(yīng)的至少一部分的初始特征值以將所述初始圖像變換成至少一個(gè)調(diào)整圖像的步驟；以及

(b)所述學(xué)習(xí)裝置獲取到(i)表示所述調(diào)整圖像被所述辨別網(wǎng)絡(luò)判斷為真實(shí)圖像的至少一個(gè)概率的至少一個(gè)自然度評(píng)分、(ii)表示包含于所述初始圖像的至少一個(gè)初始客體是否以保持固有特性的狀態(tài)包含于所述調(diào)整圖像的至少一個(gè)特性保持評(píng)分及(iii)表示所述初始圖像及所述調(diào)整圖像之間的類似程度的至少一個(gè)類似度評(píng)分的至少一部分時(shí)，使包含于所述生成網(wǎng)絡(luò)的損失層參照所述自然度評(píng)分、所述特性保持評(píng)分及所述類似度評(píng)分生成生成網(wǎng)絡(luò)損失，反向傳播所述生成網(wǎng)絡(luò)損失使得學(xué)習(xí)所述生成網(wǎng)絡(luò)的參數(shù)的步驟。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于：

在所述(b)步驟中，

所述辨別網(wǎng)絡(luò)參照對應(yīng)于所述調(diào)整圖像的特征圖判斷關(guān)于所述調(diào)整圖像相當(dāng)于真實(shí)圖像或虛假圖像的至少一個(gè)所述概率，并基于此生成所述自然度評(píng)分。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于：

所述辨別網(wǎng)絡(luò)參照所述調(diào)整圖像、附加獲取的至少一個(gè)學(xué)習(xí)用實(shí)際圖像及與其對應(yīng)的GT生成辨別網(wǎng)絡(luò)損失并將其反向傳播學(xué)習(xí)辨別網(wǎng)絡(luò)的參數(shù)，使得判斷包括所述調(diào)整圖像的至少一個(gè)輸入的圖像相當(dāng)于真實(shí)圖像或虛假圖像的概率。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于：

在所述(b)步驟中，

客體檢測網(wǎng)絡(luò)生成關(guān)于相當(dāng)于包含在所述調(diào)整圖像的至少一個(gè)調(diào)整客體的至少一個(gè)ROI的至少一個(gè)類別評(píng)分，參照所述類別評(píng)分生成所述特性保持評(píng)分。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于：

在所述(b)步驟中，

包含于所述生成網(wǎng)絡(luò)的比較層參照關(guān)于所述初始特征值和與其對應(yīng)的包含于所述調(diào)整圖像的調(diào)整特征值之間的差的信息生成所述類似度評(píng)分。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于：

還參照所述初始特征值生成所述類似度評(píng)分。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于：

在所述(b)步驟中，

所述生成網(wǎng)絡(luò)損失使得包含于所述生成網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)成參照所述自然度評(píng)分、所述特性保持評(píng)分及所述類似度評(píng)分的至少一部分算出的綜合評(píng)分增大。

8.根據(jù)權(quán)利要求7所述的方法，其特征在于：

參照所述自然度評(píng)分、所述特性保持評(píng)分及所述類似度評(píng)分的至少一部分的加權(quán)和生成所述綜合評(píng)分。

9.一種測試方法，是利用包括生成網(wǎng)絡(luò)與辨別網(wǎng)絡(luò)的生成對抗網(wǎng)絡(luò)減少穩(wěn)定發(fā)生抖動(dòng)的圖像的過程中生成的變形的圖像上發(fā)生的畸變的測試方法，其特征在于，包括：

在(1)學(xué)習(xí)裝置使調(diào)整層調(diào)整與包含于至少一個(gè)學(xué)習(xí)用初始圖像的像素對應(yīng)的至少一部分的學(xué)習(xí)用初始特征值以將所述學(xué)習(xí)用初始圖像變換成至少一個(gè)學(xué)習(xí)用調(diào)整圖像，(2)所述學(xué)習(xí)裝置參照(i)表示所述學(xué)習(xí)用調(diào)整圖像被所述辨別網(wǎng)絡(luò)判斷為真實(shí)圖像的至少一個(gè)概率的至少一個(gè)自然度評(píng)分、(ii)表示包含于所述學(xué)習(xí)用初始圖像的至少一個(gè)學(xué)習(xí)用初始客體是否以保持固有特性的狀態(tài)包含于所述學(xué)習(xí)用調(diào)整圖像的至少一個(gè)特性保持評(píng)分及(iii)表示所述學(xué)習(xí)用初始圖像及所述學(xué)習(xí)用調(diào)整圖像之間的類似程度的至少一個(gè)類似度評(píng)分的至少一部分，使包含于所述生成網(wǎng)絡(luò)的損失層生成了生成網(wǎng)絡(luò)損失的狀態(tài)下，測試裝置使包含于所述生成網(wǎng)絡(luò)的所述調(diào)整層調(diào)整與包含于至少一個(gè)測試用初始圖像的像素對應(yīng)的至少一部分的測試用初始特征值以將所述測試用初始圖像變換成至少一個(gè)測試用調(diào)整圖像的步驟。