[發(fā)明專利]一種基于雙生成對(duì)抗網(wǎng)絡(luò)的醫(yī)學(xué)圖像合成方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201711139655.7
• 申請(qǐng)日: 2017-11-16
• 公開(kāi)（公告）號(hào): CN107909621A
• 公開(kāi)（公告）日: 2018-04-13
• 發(fā)明（設(shè)計(jì)）人: 夏春秋
• 申請(qǐng)（專利權(quán)）人: 深圳市唯特視科技有限公司
• 主分類號(hào): G06T11/00
• 分類號(hào): G06T11/00;G06N3/08;G06N3/04
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

技術(shù)領(lǐng)域

本發(fā)明涉及圖像合成領(lǐng)域，尤其是涉及了一種基于雙生成對(duì)抗網(wǎng)絡(luò)的醫(yī)學(xué)圖像合成方法。

背景技術(shù)

隨著圖像處理技術(shù)的發(fā)展，目前人們對(duì)醫(yī)學(xué)圖像分類的方法非常感興趣。然而，醫(yī)學(xué)影像數(shù)據(jù)稀缺、價(jià)格昂貴，并且充滿了關(guān)于患者隱私的法律問(wèn)題。典型的患者數(shù)據(jù)同意書(shū)只允許將圖像用于醫(yī)學(xué)期刊或用于教育目的，這意味著大多數(shù)醫(yī)學(xué)數(shù)據(jù)不可用于普通的公眾研究，人們想到了合成醫(yī)學(xué)圖像可以解決這些問(wèn)題。利用醫(yī)學(xué)圖像合成的方法，研究者將擁有大量的醫(yī)學(xué)圖像數(shù)據(jù)作為研究材料，能夠進(jìn)行計(jì)算機(jī)輔助醫(yī)學(xué)診斷、協(xié)助醫(yī)療專業(yè)人員解釋醫(yī)學(xué)圖像、醫(yī)學(xué)圖像分類等眾多操作。現(xiàn)有的醫(yī)學(xué)圖像合成技術(shù)由于點(diǎn)位點(diǎn)不穩(wěn)定，由生成對(duì)抗網(wǎng)絡(luò)(GAN)產(chǎn)生的圖像通常可能仍然包含偽影和噪聲，造成合成圖像的不穩(wěn)定性。

本發(fā)明提出了一種基于雙生成對(duì)抗網(wǎng)絡(luò)的醫(yī)學(xué)圖像合成方法，先使用DRIVE數(shù)據(jù)庫(kù)來(lái)管理第一階段GAN，然后第一階段GAN生成表示數(shù)據(jù)集的可變幾何的分割蒙版，第二階段GAN將第一階段制作的掩模轉(zhuǎn)化成具有真實(shí)感的圖像，生成器通過(guò)鑒別器將分類為真實(shí)的數(shù)據(jù)來(lái)最小化其損失函數(shù)，再訓(xùn)練U-NET評(píng)估合成數(shù)據(jù)的可靠性，最后建立評(píng)估指標(biāo)衡量生成的模型。本發(fā)明通過(guò)使用一對(duì)生成對(duì)抗網(wǎng)絡(luò)，創(chuàng)建一個(gè)新的圖像生成途徑，解決了合成圖像含偽影和噪聲的問(wèn)題，提高了圖像的穩(wěn)定性和真實(shí)感，同時(shí)使圖像細(xì)節(jié)更加清晰。

發(fā)明內(nèi)容

針對(duì)由GAN產(chǎn)生的圖像通常可能仍然包含偽影和噪聲，造成合成圖像的不穩(wěn)定性的問(wèn)題，本發(fā)明的目的在于提供一種基于雙生成對(duì)抗網(wǎng)絡(luò)的醫(yī)學(xué)圖像合成方法，先使用DRIVE數(shù)據(jù)庫(kù)來(lái)管理第一階段GAN，然后第一階段GAN生成表示數(shù)據(jù)集的可變幾何的分割蒙版，第二階段GAN將第一階段制作的掩模轉(zhuǎn)化成具有真實(shí)感的圖像，生成器通過(guò)鑒別器將分類為真實(shí)的數(shù)據(jù)來(lái)最小化其損失函數(shù)，再訓(xùn)練U-NET評(píng)估合成數(shù)據(jù)的可靠性，最后建立評(píng)估指標(biāo)衡量生成的模型。

為解決上述問(wèn)題，本發(fā)明提供一種基于雙生成對(duì)抗網(wǎng)絡(luò)的醫(yī)學(xué)圖像合成方法，其主要內(nèi)容包括：

(一)數(shù)據(jù)管理；

(二)生成對(duì)抗網(wǎng)絡(luò)；

(三)訓(xùn)練U-NET；

(四)建立評(píng)估指標(biāo)；

(五)獲得處理圖片。

其中，所述的醫(yī)學(xué)圖像合成，為了生成高質(zhì)量的合成數(shù)據(jù)集，提出使用兩個(gè)生成對(duì)抗網(wǎng)絡(luò)(GAN)，將生成問(wèn)題分解為兩部分：

(1)第一階段GAN：生成表示數(shù)據(jù)集的可變幾何的分割蒙版；

(2)第二階段GAN：將第一階段制作的掩模轉(zhuǎn)化成具有真實(shí)感的圖像。

進(jìn)一步地，所述的第一階段生成對(duì)抗網(wǎng)絡(luò)，第一階段GAN的目的是生成可變分段掩碼，它基于深度卷積生成對(duì)抗網(wǎng)絡(luò)(DCGAN)架構(gòu)，并基于Tensor Flow平臺(tái)構(gòu)建，提高了與標(biāo)準(zhǔn)GAN相比的訓(xùn)練穩(wěn)定性；與其他生成模型相比，DCGAN是完全卷積的；該生成器用一個(gè)噪聲矢量進(jìn)行初始化，該噪聲矢量通過(guò)多個(gè)步進(jìn)卷積饋送，生成合成圖像；使用交叉熵?fù)p失函數(shù)來(lái)訓(xùn)練第一階段中的鑒別器GAN。

進(jìn)一步地，所述的交叉熵?fù)p失函數(shù)，交叉熵?fù)p失函數(shù)如下所示：

其中，D是鑒別器，G是生成器，m是最小批量大小，z是相應(yīng)的輸入噪聲向量，x是圖像，i是圖像的索引；生成器的損失函數(shù)如下：

由于這兩個(gè)連接的損失函數(shù)，生成器和鑒別器不斷地相互競(jìng)爭(zhēng)，以最小化它們各自的損失函數(shù)。

進(jìn)一步地，所述的第二階段生成對(duì)抗網(wǎng)絡(luò)，第二階段GAN的目的是將分割蒙版轉(zhuǎn)換為相應(yīng)的逼真圖像；第二階段也建立在Tensor Flow平臺(tái)上，提出GAN的一種特殊形式，稱為條件生成對(duì)抗網(wǎng)絡(luò)(CGAN)；它旨在將兩個(gè)網(wǎng)絡(luò)D和G調(diào)節(jié)到某個(gè)向量y，并輸入表示分割蒙版和真實(shí)感圖像之間的映射的圖像X；類似于常規(guī)的GAN，CGAN可以用這個(gè)函數(shù)(附加參數(shù)y)建模：

第二階段GAN是用相應(yīng)的真實(shí)基底和分割掩模對(duì)來(lái)訓(xùn)練的，以便找出兩類圖像之間的映射；給定一個(gè)分割蒙版，該模型將把給定的幾何圖形轉(zhuǎn)換為具有真實(shí)感的醫(yī)學(xué)圖像。

其中，所述的數(shù)據(jù)管理，使用DRIVE數(shù)據(jù)庫(kù)來(lái)管理第一階段GAN；它包含四十對(duì)由兩位專家手動(dòng)提取的視網(wǎng)膜基底圖像和分割掩模；分割圖像被裁剪為512×512像素；第二階段GAN提供了從MESSIDOR數(shù)據(jù)庫(kù)中的卷積神經(jīng)網(wǎng)絡(luò)(CNN)分割網(wǎng)絡(luò)得到的分割掩碼；使用來(lái)自DRIVE的圖像對(duì)CNN分割網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以創(chuàng)建對(duì)應(yīng)的標(biāo)定好的真實(shí)分割蒙版和視網(wǎng)膜基底圖像的替代數(shù)據(jù)集；還使用DRIVE訓(xùn)練每一階段的GAN，比較最終結(jié)果。