[發(fā)明專利]基于循環(huán)對抗網(wǎng)絡(luò)的無監(jiān)督圖像變換方法及裝置

在審

• 申請?zhí)枺?/td>: 202011019829.8
• 申請日: 2020-09-24
• 公開（公告）號: CN112270648A
• 公開（公告）日: 2021-01-26
• 發(fā)明（設(shè)計）人: 戴瓊海;李欣陽;張國勛;吳嘉敏;喬暉;王好謙
• 申請（專利權(quán)）人: 清華大學(xué)
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/08;G06N3/04
• 代理公司: 北京清亦華知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 張大威

本申請公開了一種基于循環(huán)對抗網(wǎng)絡(luò)的無監(jiān)督圖像變換方法及裝置，其中，方法包括：步驟S1：搭建循環(huán)對抗網(wǎng)絡(luò)，循環(huán)對抗網(wǎng)絡(luò)包括用于輸入圖像轉(zhuǎn)換為輸出圖像的前向生成網(wǎng)絡(luò)和后向生成網(wǎng)絡(luò)及用于判斷對應(yīng)生成結(jié)果是否是真實(shí)的前向判別網(wǎng)絡(luò)和后向判別網(wǎng)絡(luò)；步驟S2：設(shè)計網(wǎng)絡(luò)損失函數(shù)，網(wǎng)絡(luò)損失函數(shù)包括：步驟S3：采用非監(jiān)督機(jī)制制作數(shù)據(jù)集；步驟S4：以最小化代價函數(shù)為目標(biāo)訓(xùn)練生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)；步驟S5：輸入目標(biāo)圖像至訓(xùn)練好的循環(huán)對抗網(wǎng)絡(luò)，得到圖像變換結(jié)果。該方法通過在不對齊的數(shù)據(jù)集合上同時訓(xùn)練兩個生成對抗網(wǎng)絡(luò)來學(xué)習(xí)一對互逆映射，通過添加額外的顯著性約束來限制圖像內(nèi)容在圖像坐標(biāo)系上的位置，從而避免映射偏差。

技術(shù)領(lǐng)域

本申請涉及人工智能、機(jī)器學(xué)習(xí)技術(shù)領(lǐng)域，特別涉及一種基于循環(huán)對抗網(wǎng)絡(luò)的無監(jiān)督圖像變換方法及裝置。

背景技術(shù)

以深度學(xué)習(xí)為典型代表的人工智能技術(shù)目前已經(jīng)廣泛地應(yīng)用到圖像信息處理中。深度神經(jīng)網(wǎng)絡(luò)可以視為一個通用的高維函數(shù)擬合器，在給定的訓(xùn)練集上進(jìn)行合理的訓(xùn)練后，在測試集上即可表現(xiàn)出優(yōu)越的泛化能力。深度學(xué)習(xí)在圖像任務(wù)上的應(yīng)用主要分為兩種，第一種是分類，旨在將輸入的圖像映射為類別標(biāo)簽，在這種情況下輸入是高維圖像，輸出是低維的類別概率分布。另一種是圖像變換，旨在將輸入的圖像映射為另一張圖像，這種應(yīng)用場景下，輸入和輸出都是高維的圖像。圖像到圖像的映射，是實(shí)施一種圖像變換，為了提升數(shù)據(jù)質(zhì)量，分析數(shù)據(jù)內(nèi)容，或者揭示數(shù)據(jù)內(nèi)部隱含的、難以察覺的模式。

近年來，隨著人工智能理論的逐漸完善和深度學(xué)習(xí)技術(shù)的快速發(fā)展，在無監(jiān)督的情況下訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)完成特定的任務(wù)已經(jīng)逐漸成為可能。在一部分涉及自然圖像的應(yīng)用中，無監(jiān)督的圖像風(fēng)格遷移已經(jīng)實(shí)現(xiàn)。但是這些方法無法保證穩(wěn)定且準(zhǔn)確的收斂，在要求更嚴(yán)格的場景下，尤其是涉及生物醫(yī)學(xué)圖像和顯微圖像的應(yīng)用中，基于無監(jiān)督學(xué)習(xí)的圖像變換方法需要新的創(chuàng)新才能走向應(yīng)用。

申請內(nèi)容

本發(fā)明旨在至少在一定程度上解決相關(guān)技術(shù)中的技術(shù)問題之一。

為此，本發(fā)明的第一目的在于提出一種基于循環(huán)對抗網(wǎng)絡(luò)的無監(jiān)督圖像變換方法。

本發(fā)明的第二個目的在于提出一種基于循環(huán)對抗網(wǎng)絡(luò)的無監(jiān)督圖像變換裝置。

本發(fā)明的第三個目的在于提出一種電子設(shè)備。

本發(fā)明的第四個目的在于提出一種計算機(jī)可讀存儲介質(zhì)。

為達(dá)到上述目的，本申請第一方面實(shí)施例提供一種基于循環(huán)對抗網(wǎng)絡(luò)的無監(jiān)督圖像變換方法，包括以下步驟：

步驟S1：搭建循環(huán)對抗網(wǎng)絡(luò)，所述循環(huán)對抗網(wǎng)絡(luò)包括用于輸入圖像轉(zhuǎn)換為輸出圖像的前向生成網(wǎng)絡(luò)和后向生成網(wǎng)絡(luò)及用于判斷對應(yīng)生成結(jié)果是否是真實(shí)的前向判別網(wǎng)絡(luò)和后向判別網(wǎng)絡(luò)；

步驟S2：設(shè)計網(wǎng)絡(luò)損失函數(shù)，所述網(wǎng)絡(luò)損失函數(shù)包括：第一部分為所述循環(huán)對抗網(wǎng)絡(luò)的對抗損失；第二部分為循環(huán)一致性損失，使得循環(huán)生成的圖像和原始圖像的差別應(yīng)該最小；第三部分為顯著性約束，屬弱約束，以限定圖像內(nèi)容在輸出圖像坐標(biāo)系中的位置；

步驟S3：采用非監(jiān)督機(jī)制制作數(shù)據(jù)集，其中，將源域模式的大圖拆分成第一預(yù)設(shè)尺寸的小圖放入源域，且將目標(biāo)域風(fēng)格的大圖拆分成所述第二預(yù)設(shè)尺寸的小圖放入目標(biāo)域；

步驟S4：以最小化代價函數(shù)為目標(biāo)訓(xùn)練生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)；以及

步驟S5：輸入目標(biāo)圖像至訓(xùn)練好的所述循環(huán)對抗網(wǎng)絡(luò)，得到圖像變換結(jié)果。

另外，根據(jù)本發(fā)明上述實(shí)施例的基于循環(huán)對抗網(wǎng)絡(luò)的無監(jiān)督圖像變換方法還可以具有以下附加的技術(shù)特征：

可選地，所述前向生成網(wǎng)絡(luò)和后向生成網(wǎng)絡(luò)采用深度殘差網(wǎng)絡(luò)，其包括三層的下采樣卷積層與緊接著的九個相連的殘差塊及上采樣的輸出層，其中，包含的跨度連接將信息無損地傳輸?shù)胶罄m(xù)的卷積層。