[發(fā)明專利]一種圖像數(shù)據(jù)增廣方法及裝置

有效

• 申請?zhí)枺?/td>: 202110436901.5
• 申請日: 2021-04-22
• 公開（公告）號: CN113222114B
• 公開（公告）日: 2023-08-15
• 發(fā)明（設(shè)計）人: 班曉娟;周佳城;馬博淵;魏曉燕;陳佳豪;黃海友;王浩;薛維華;姜淑芳
• 申請（專利權(quán)）人: 北京科技大學(xué);中國人民解放軍總醫(yī)院海南醫(yī)院
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/82;G06V10/80;G06N3/0464;G06N3/045;G06N3/0985;G06V10/764;G06V10/776
• 代理公司: 北京市廣友專利事務(wù)所有限責(zé)任公司 11237
• 代理人: 張仲波;付忠林

1.一種圖像數(shù)據(jù)增廣方法，其特征在于，包括：

獲取真實圖像及每一真實圖像所對應(yīng)的與其逐像素對應(yīng)的真實標注；

構(gòu)建標注生成網(wǎng)絡(luò)和風(fēng)格遷移網(wǎng)絡(luò)；其中，所述標注生成網(wǎng)絡(luò)用于根據(jù)真實標注，生成虛擬標注；所述風(fēng)格遷移網(wǎng)絡(luò)用于將虛擬標注轉(zhuǎn)換成虛擬圖像；

以所述標注生成網(wǎng)絡(luò)的輸出作為所述風(fēng)格遷移網(wǎng)絡(luò)的輸入，將所述標注生成網(wǎng)絡(luò)與所述風(fēng)格遷移網(wǎng)絡(luò)合并成圖像數(shù)據(jù)增廣網(wǎng)絡(luò)，并基于真實圖像及其真實標注，采用基于生成器和判別器的損失函數(shù)，訓(xùn)練所述圖像數(shù)據(jù)增廣網(wǎng)絡(luò)；

利用訓(xùn)練好的圖像數(shù)據(jù)增廣網(wǎng)絡(luò)，生成待增廣的真實圖像及其真實標注所對應(yīng)的虛擬圖像和虛擬標注，作為待增廣的真實圖像及其真實標注的數(shù)據(jù)增廣；

所述標注生成網(wǎng)絡(luò)包括多尺度標注生成器和帶有多尺度連接的標注判別器；其中，

所述標注生成器用于生成多尺度的虛擬標注；

所述標注判別器用于計算判別分數(shù)，判別真實標注和虛擬標注；

所述標注生成器生成多尺度的虛擬標注的過程，包括：

從多維高斯分布中隨機采樣初始隱變量；使用轉(zhuǎn)置卷積和3×3卷積對初始隱變量做上采樣操作，將初始隱變量的特征尺寸擴大為4×4大小，再依次經(jīng)過連續(xù)卷積和插值上采樣層，逐漸擴大特征圖尺度，并采用1×1卷積將生成過程中不同尺度的特征轉(zhuǎn)化為單通道的虛擬標注，最終獲得多尺度的虛擬標注；

所述標注判別器計算判別分數(shù)，判別真實標注和虛擬標注的過程，包括：

將待判別的標注數(shù)據(jù)經(jīng)過1×1卷積轉(zhuǎn)化，得到多尺度多維特征；

將所述多尺度多維特征分別在不同尺度下與特征圖經(jīng)過平均池化下采樣后的特征進行通道級聯(lián)，再分別經(jīng)過3x3卷積層進行特征融合，最后經(jīng)過全連接層獲得標注的1維高層特征；

將標注的1維高層特征經(jīng)過判別函數(shù)獲得判別分數(shù)，以判別當(dāng)前待判別的標注數(shù)據(jù)為真實標注還是虛擬標注；其中，所述判別函數(shù)為SoftMax或SVM；

所述風(fēng)格遷移網(wǎng)絡(luò)包括多尺度圖像生成器和帶有多尺度連接的圖像判別器；其中，

所述圖像生成器用于生成與虛擬標注具有相同底層語義結(jié)構(gòu)的虛擬圖像；

所述圖像判別器用于計算判別分數(shù)，判別真實圖像和虛擬圖像；

所述圖像生成器生成與虛擬標注具有相同底層語義結(jié)構(gòu)的虛擬圖像的過程，包括：

從多維高斯分布中隨機采樣初始隱變量，使用轉(zhuǎn)置卷積和3×3卷積對初始隱變量做上采樣操作，將初始隱變量的特征尺寸擴大為4×4大小；并使用自適應(yīng)正則化模塊將不同尺度的虛擬標注作為輸入，送入所述圖像生成器中，進行特征歸一化；再依次經(jīng)過連續(xù)卷積和插值上采樣層，使得特征分辨率依次擴大，最終輸出與虛擬標注具有相同底層語義結(jié)構(gòu)的虛擬圖像；

所述圖像判別器計算判別分數(shù)，判別真實圖像和虛擬圖像的過程，包括：

將最大尺度待判別圖像及其標注數(shù)據(jù)進行通道級聯(lián)，并經(jīng)過多次3x3卷積層和下采樣層進行特征提取，最后經(jīng)過全連接層獲得圖像的1維高層特征；

將圖像的1維高層特征經(jīng)過判別函數(shù)獲得判別分數(shù)，以判別當(dāng)前待判別圖像為真實圖像還是虛擬圖像；其中，所述判別函數(shù)為SoftMax或SVM；

所述基于生成器和判別器的損失函數(shù)的表達式為：

其中，L表示損失函數(shù)，L_GANL和L_GANI分別表示所述標注生成網(wǎng)絡(luò)和所述風(fēng)格遷移網(wǎng)絡(luò)的梯度損失；λ₁和λ₂為兩個不小于零的超參數(shù)；

L_GANL包括標注生成器損失L_GL和標注判別器損失L_DL；

其中，x_r為真實標注，x_f為經(jīng)過所述標注生成器生成的虛擬標注，E(.)表示求解期望值，表示經(jīng)過調(diào)整后，當(dāng)輸入為虛擬標注x_f時，標注判別器認為來自真實標注的概率，表示經(jīng)過調(diào)整后，當(dāng)輸入為真實標注x_r時，標注判別器認為來自真實標注的概率，D(x_f)表示當(dāng)輸入為虛擬標注x_f時,標注判別器認為來自真實標注的概率，D(x_r)表示當(dāng)輸入為真實標注x_r時，標注判別器認為來自真實標注的概率；

L_GANI包括圖像生成器損失L_GI和圖像判別器損失L_DI；

L_DI＝E(max(0，1-D(x_r′)))+E(max(0，1+D(x_f′)))

L_GI＝-E(D(x_f′))

其中，x_r′表示真實圖像，x_f′表示經(jīng)過所述圖像生成器生成的虛擬圖像，D(x_r′)表示當(dāng)輸入為真實圖像x_r′時，所述圖像判別器認為來自真實圖像的概率，D(x_f′)表示當(dāng)輸入為虛擬圖像x_f′時，所述圖像判別器認為來自真實圖像的概率；

L_ms為模式尋找損失，用于避免網(wǎng)絡(luò)訓(xùn)練過程中的模式崩潰。