[發明專利]一種基于深度學習和圖像增強的NBI圖像處理方法及其應用

有效

• 申請號: 201910375216.9
• 申請日: 2019-05-07
• 公開（公告）號: CN110189303B
• 公開（公告）日: 2020-12-25
• 發明（設計）人: 胡珊
• 申請（專利權）人: 武漢楚精靈醫療科技有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/41;G06T7/90;G16H30/40
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 王琪

1.一種基于深度學習和圖像增強的NBI圖像處理方法，其特征在于，包括如下步驟：

步驟S1，收集大量NBI胃早癌或者非癌放大圖像；

步驟S2，由專業醫師標注圖像中的白區和血管，使背景及結構復雜的原始NBI圖像轉變為特征清晰的簡筆畫圖像，得到標注圖像；

步驟S3，將原始NBI圖像和標注圖像輸入深度卷積神經網絡模型進行訓練，所述深度卷積神經網絡模型用于不斷計算原始圖像和標注圖像之間突出的信息特征，包括紋理差異L_texture、內容差異L_content、顏色差異L_color和總體差異L_tv，并基于上述差異加權得到總的損失函數值，完成原始NBI圖像到標注圖像的映射關系；

步驟S3的具體實現方式如下，

步驟S31，對于紋理差異L_texture，訓練一個單獨的對抗性CNN識別器，L_texture計算公式如下：

其中，I_S是原始NBI圖像，I_t是醫師標注圖像，i是I_S和I_t的對數，F_W、F_W(I_S)分別指圖像增強函數和函數處理后的增強圖像，D為識別器；

步驟S32，對于內容差異L_content，根據預先訓練的VGG-19網絡的ReLU層生成的激活圖來定義；

其中，C_jH_jW_j分別表示I_t和F_W(I_S)增強圖像的數量、高度和寬度，ψ_j是經過j次卷積后的特征映射；

步驟S33，對于顏色差異L_color，使用高斯模糊方法計算醫生標注圖像和原始NBI圖像的歐式距離，公式如下：

X_b、Y_b分別是X、Y(原始NBI圖像的像素坐標)經過計算后在標注圖像中對應的值，求解過程如下：

上式為高斯濾波模板，其中μ_x是X的均值，σ_x是X的方差，A是像素點的權重總和，求得的結果G(k,l)是k、l處的濾波模板值；

將原圖像k、l及周圍像素點與濾波模板值相乘可以獲得X_b的高斯模糊值；同理得到Y_b，代入式3得到L_color；

步驟S34，通過計算總變異損失函數來增強圖像的空間平滑性，公式如下：

步驟S35，最后將顏色差異、紋理差異、內容差異和總體差異結合，得到總的損失函數值，

L_total＝L_cont_ent+0.4·L_texture+0.1·L_color+400·L_tv (7)

其中，CHW表示F_W(I_S)增強圖像的數量、高度和寬度，為對X、Y求微分的哈密頓算符；

步驟S4，基于上述映射關系得到待處理圖像的目標圖像，將每個像素點映射成由數字組成的一維數組，

步驟S5，通過調整目標圖像的RGB顏色空間，使數組中不同數字顯示深淺不一的不同顏色，得到血管和表面結構增強、且隱去其余背景的胃粘膜圖像。

2.如權利要求1所述的一種基于深度學習和圖像增強的NBI圖像處理方法，其特征在于：步驟S4中的映射方式為，基于PythonPIL包中Image方法實現rgb通道分離，再通過reshape方法使圖像轉換成由數字組成的一維數組。

3.一種基于深度學習和圖像增強的NBI圖像在早期胃癌診斷中的應用，其特征在于：所述NBI圖像通過權利要求1或2所述方法得到。