[發明專利]一種基于生成對抗網絡的帶出血病癥的眼底血管圖像生成方法

在審

• 申請號: 202010097117.1
• 申請日: 2020-02-17
• 公開（公告）號: CN111325749A
• 公開（公告）日: 2020-06-23
• 發明（設計）人: 郭繼峰;龐志奇;劉丹;李星
• 申請（專利權）人: 東北林業大學
• 主分類號: G06T7/10
• 分類號: G06T7/10;G06T7/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明涉及一種基于生成對抗網絡的帶出血病癥的眼底血管圖像生成方法，其中眼底圖像生成方法包括：首先用圖像分割技術從現有真實眼底圖片中分割出血管樹和出血塊，然后利用WGAN生成眼底血管樹，利用CGAN生成出血塊；再把生成的眼底血管樹和出血塊輸入到本發明改進的CycleGAN中生成完整的帶出血病癥的眼底血管圖像。本發明把圖像生成過程分為兩部分：第一部分用WGAN和CGAN生成血管樹和出血塊，旨在生成高質量的血管圖像和出血塊圖像，使局部信息更加真實；第二部分把生成的眼底血管樹和出血塊輸入到本發明改進的CycleGAN中，在生成完整帶出血病癥的眼底血管圖像的同時，進一步提升生成樣本多樣性，且最終生成質量得到顯著提升。

技術領域：

本發明涉及圖像生成領域，尤其涉及一種基于生成對抗網絡的帶出血病癥的眼底血管圖像方法。

背景技術：

智能醫療診斷系統的研究需要大量標注樣本，但在現實中，對于醫療數據尤其是眼底圖像的獲取以及標注困難重重且成本極高，眼底圖像樣本數據不足以及樣本分布不均稱為一大難題。

針對眼底圖像數據樣本分布不均問題，傳統的數據集擴充方法主要有翻轉、旋轉、裁剪、添加噪聲等數據增強技術，以及過采樣技術，但只能對現有數據集進行擴充，擴充結果對現有數據集具有很強的依賴性。在Ian Goodfellow提出GAN后，大量學者把GAN用于擴充數據集，且已有很多成功案例，但也存在細節丟失、生成樣本單一等不足。在GAN在擴充數據集應用中，可大致分為兩方面，一種是基于無監督學習的GAN及其改進模型DCGAN等，理論上可以生成豐富的圖片數據，但實際訓練過程卻十分艱難，且Mode Collapse問題十分嚴重，生成效果也大多不盡人意。之后Guibas等提出的兩步生成眼底血管圖像的方法可以生成較高質量的圖像，但仍然存在Mode Collapse問題，且訓練過程不穩定；另一種是把無監督學習的GAN改進為有監督的CGAN以及改進的pix2pix，其中具有代表性的就是Appan等提出的生成帶病組織的眼底血管圖像方法，這種方法能夠生成高質量的圖像，但過于依賴成對的數據集，在成對數據集又十分有限的情況下，難以生成豐富的眼底圖像。

發明內容：

本發明的目的是克服現有方法的不足，提出一種基于生成對抗網絡的帶出血病癥的眼底血管圖像方法,特別是涉及一種基于改進的CycleGAN的帶出血病癥的眼底血管圖像方法，以解決眼底圖像樣本不足以及樣本分布不均的問題。

一種基于生成對抗網絡的帶出血病癥的眼底血管圖像生成方法，其特征在于，包括如下步驟：

步驟1：利用圖像分割技術對真實眼底圖像進行圖像分割，得到真實血管樹和出血塊；

步驟2：把真實血管樹輸入到WGAN中生成血管樹圖像，把真實出血塊輸入到CGAN中生成出血塊圖像；

步驟3：把生成的血管樹和出血塊輸入到改進的CycleGAN中，得到完整帶出血病癥的眼底血管圖像。

步驟1的實現包括：

步驟1.1：對真實眼底圖像進行預處理，預處理包括去除噪聲和等比例縮放及中心裁剪；

步驟1.2：利用圖像分割技術對處理過的圖像進行分割，得到真實血管樹和出血塊。

步驟2的實現包括：

步驟2.1：由于原始GAN訓練困難，其中重要原因是由于梯度消失，即在接近最優的判別器下，生成數據和真實數據沒有不可忽略重合時，由于優化生成器損失函數相當于優化P_g與P_data之間的JS散度，而此時此JS散度近似為常數log2，即生成器面臨梯度消失，無法繼續訓練下去。WGAN模型是在GAN的基礎上，引入Wassertein距離代替原損失函數，解決了梯度消失問題，目標函數：