[發明專利]一種面向深度學習的顯微內窺鏡圖像數據增強方法

有效

• 申請號: 202110030166.8
• 申請日: 2021-01-11
• 公開（公告）號: CN112767266B
• 公開（公告）日: 2022-08-30
• 發明（設計）人: 牛春陽;楊青;王立強;袁波;張偉
• 申請（專利權）人: 之江實驗室;浙江大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T7/90;G06N3/04
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 邱啟旺

1.一種面向深度學習的顯微內窺鏡圖像數據增強方法，其特征在于，具體包括如下步驟：

步驟S1：采用高分辨內窺鏡拍攝出高分辨率的內窺鏡細胞核圖像，根據先驗知識對拍攝的內窺鏡細胞核圖像進行細胞核的像素級標注，獲得細胞核掩碼圖像，將內窺鏡細胞核圖像和細胞核掩碼圖像構成訓練集；

步驟S2：構建對抗生成網絡模型，所述對抗生成網絡模型包括生成器G和判別器D，將步驟S1中的訓練集輸入所述對抗生成網絡模型中進行迭代訓練，所述判別器D判斷所述生成器G生成的合成圖像是否為內窺鏡細胞核圖像，當對抗生成網絡模型的迭代次數達到閾值時，完成對對抗生成網絡模型的訓練；

步驟S3：生成仿真細胞核掩碼圖像數據集，具體包括如下子步驟：

步驟S3-1：從訓練集中選取一個細胞核掩碼圖像，生成一張與細胞核掩碼圖像大小相同的，像素值全為零的背景圖像I_b；

步驟S3-2：二值化所述細胞核掩碼圖像，得到二值圖，計算二值圖的連通區域個數n；

步驟S3-3：計算步驟S3-2中每一個連通區域的中心點坐標(x_i,y_i)，對每一個中心點坐標(x_i,y_i)隨機加入高斯擾動，得到每一個連通區域的新中心點坐標(x_i′,y_i′)；

步驟S3-4：生成隨機自然數r，1≤r≤n，根據r選擇對應的連通區域新中心點坐標，將第一個連通區域隨機逆時針旋轉90°、180°或270°，拼接到背景圖像I_b中；

步驟S3-5：對連通區域中的每一個重復步驟S3-4的操作，且r每一次取值互不相同，得到一張完整的仿真細胞核掩碼圖像；

步驟S3-6：對訓練集中的所有細胞核掩碼圖像重復步驟S3-1～S3-5，得到仿真細胞核掩碼圖像數據集；

步驟S4：將步驟S3生成的仿真細胞核掩碼圖像數據集輸入訓練好的對抗生成網絡模型中，生成合成數據集；

步驟S5：將步驟S4生成的合成數據集進行染色分離，隨機調整染色配比，再進行染色融合，得到數據增強的樣本集。

2.根據權利要求1面向深度學習的顯微內窺鏡圖像數據增強方法，其特征在于，將訓練集中的內窺鏡圖像進行去中心化和正則化處理。

3.根據權利要求1面向深度學習的顯微內窺鏡圖像數據增強方法，其特征在于，所述生成器G采用U-net結構，所述生成器G用于生成與內窺鏡細胞核圖像相似的合成圖像,判別器D采用PatchGAN的6層卷積網絡，用于判斷生成的合成圖像是否為內窺鏡細胞核圖像。

4.根據權利要求1面向深度學習的顯微內窺鏡圖像數據增強方法，其特征在于，若所述判別器D判斷所述生成器G生成的合成圖像不是內窺鏡細胞核圖像，則根據損失函數L(G,D)優化生成器G；所述損失函數L(G,D)為：

L(G,D)＝E[logD(x,y)]+E[log(1-D(x,G(x)))]

其中，x訓練集中的細胞核掩碼圖像，y為訓練集中的內窺鏡圖像，D()表示判別器判斷為真實內窺鏡細胞核圖像的概率，D(x,y)為判別器將真實顯微內窺細胞核圖像判定為真實顯微內窺細胞核圖像的概率，D(x,G(x))表示判別器將生成器生成的合成圖像判定為真實顯微內窺圖像的概率，E是判別器在整個訓練集上的總體判別期望均值。

5.根據權利要求1面向深度學習的顯微內窺鏡圖像數據增強方法，其特征在于，步驟S5中隨機調整染色配比的過程為：

通過生成隨機數α_k、β_k與γ_k，得到調整后的蘇木精染色劑獨立染色成分圖像調整后的伊紅染色劑獨立染色成分圖像與調整后的顯色劑獨立染色成分圖像

其中，k表示合成數據集中的第k個合成圖像，u表示合成圖像的寬，v表示合成圖像的高，表示蘇木精染色劑單獨染色分像圖像，表示伊紅染色劑單獨染色成分圖像，表示顯色劑單獨染色成分圖像。