[發(fā)明專利]基于修復(fù)和選擇性增強的胃鏡圖像分析系統(tǒng)、方法及設(shè)備

有效

• 申請?zhí)枺?/td>: 202110517412.2
• 申請日: 2021-05-12
• 公開（公告）號: CN113256572B
• 公開（公告）日: 2023-04-07
• 發(fā)明（設(shè)計）人: 田捷;董迪;鞏立鑫;胡朝恩;楊鑫;操潤楠
• 申請（專利權(quán)）人: 中國科學(xué)院自動化研究所
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T5/00;G06N3/0475;G06N3/0464;G06N3/094;G06V10/764;G06V10/82
• 代理公司: 北京市恒有知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11576
• 代理人: 郭文浩;尹文會

1.一種基于修復(fù)和選擇性增強的胃鏡圖像分析系統(tǒng)，其特征在于，所述系統(tǒng)包括：圖像獲取模塊、預(yù)處理模塊、反光處理模塊、圖像對抗合成、選擇性增強模塊和圖像識別模塊；

所述圖像獲取模塊，配置為獲取窄帶成像的胃鏡圖像，并作為待測圖像；

所述預(yù)處理模塊，配置為基于所述待測圖像，通過大津閾值法、輪廓線檢測方法獲得僅包含胃部黏膜的待測圖像；

所述反光處理模塊，配置為基于所述僅包含胃部黏膜的待測圖像，通過反光檢測、圖像修復(fù)與高斯模糊和加權(quán)疊加，獲得無反光的待測圖像；

所述反光處理模塊，包括反光檢測單元、反光修復(fù)單元與高斯模糊單元和加權(quán)疊加單元；

所述反光檢測單元，配置為通過顏色平衡自適應(yīng)閾值來檢測所述僅包含胃部黏膜的待測圖像I_ori中的高光部分；

將待測圖像轉(zhuǎn)換為灰度圖像：

Gray＝0.2989*R+0.5870*G+0.1140*B，

其中，R是待測圖像I_ori的紅色通道，G是待測圖像I_ori的綠色通道，B是待測圖像I_ori的藍色通道，Gray是待測圖像I_ori對應(yīng)的灰度圖像；

分別計算藍色通道的圖像強度與灰度圖像的強度的第95個百分位之比，和綠色通道的圖像強度與灰度圖像的強度的第95個百分位之比，獲得反光檢測的閾值：

將所述待測圖像I_ori中滿足任一反光點條件的像素點n設(shè)置為反光點：

反光點條件一：G(n)T·R_g-gray；反光點條件二：B(n)T·R_b-gray；反光點條件三：R(n)T；其中，G(n)表示待測圖像在綠色通道上像素點n的像素值，B(n)表示待測圖像在藍色通道上像素點n的像素值，R(n)表示待測圖像在紅色通道上像素點n的像素值，T為超參數(shù)；將待測圖像的設(shè)置為反光點的像素設(shè)置為0，其余像素設(shè)置為1，獲得待測圖像I_ori的反光區(qū)域的掩膜M_s；

所述反光修復(fù)單元，配置為通過所述反光區(qū)域的掩膜，獲取反光區(qū)域，基于反光區(qū)域周圍的像素平均值對反光點進行填充，獲得被填充的待測圖像I_p；

所述高斯模糊單元，通過高斯卷積核對所述被填充的待測圖像I_p進行高斯模糊得到平滑圖像I_s：

I_s＝F_guassin*I_p其中，F(xiàn)_guassin表示高斯模糊；

所述加權(quán)疊加單元，配置為對所述反光區(qū)域的掩膜進行均值濾波計算平滑圖像權(quán)重w，然后將填充前的待測圖像I_ori及對應(yīng)的平滑圖像進行加權(quán)求和獲得無反光的待測圖像：

w＝M_s*F_mean

I_inpainted＝w·I_s+(1-w)·I_ori

其中，F(xiàn)_guassin為高斯卷積核，F(xiàn)_mean為均值濾波，I_s為平滑圖像，I_ori為待測圖像，w為平滑圖像的權(quán)重；

所述圖像對抗合成和選擇性增強模塊，配置為基于所述無反光的待測圖像，通過訓(xùn)練好的生成式對抗網(wǎng)絡(luò)生成逼真合成圖像；

所述圖像對抗合成和選擇性增強模塊，具體為，將所述無反光的待測圖像和噪聲輸入生成式對抗網(wǎng)絡(luò)獲得合成圖像：

其中，表示真實樣本和生成樣本的差異程度，G表示生成器，D表示判別器，(x，y)表示真實圖像及其標簽，(z，y)表示隨機噪聲及其標簽，E表示概率分布的期望，x～P_data表示真實數(shù)據(jù)x服從P_data分布，z～N表示噪聲服從均勻分布；基于所述合成圖像，計算合成圖像與無反光的待測圖像的特征質(zhì)心的歸一化歐式距離D_f，采用蒙特卡洛隨機失活方法運行K次預(yù)訓(xùn)練網(wǎng)絡(luò)中的特征提取網(wǎng)絡(luò)：

其中，H_l×W_l表示特征提取網(wǎng)絡(luò)的尺寸，x表示合成圖像，c_i表示第i類的質(zhì)心，表示第k個特征提取網(wǎng)絡(luò)l層的歸一化激活，K表示特征提取網(wǎng)絡(luò)總運行次數(shù)；

所述無反光的待測圖像的特征質(zhì)心c_i的計算方法為：

其中，表示特征提取網(wǎng)絡(luò)第l層的激活，L表示特征網(wǎng)絡(luò)共有L層，Ni表示第i類訓(xùn)練樣本的數(shù)量，x_j表示第j個樣本；

選取歐氏距離D_f小于預(yù)設(shè)的逼真閾值的圖像作為逼真合成圖像；

所述圖像識別模塊，包括概率預(yù)測單元和區(qū)域顯示單元；

所述概率預(yù)測單元，基于所述逼真合成圖像，通過訓(xùn)練好的胃鏡圖像識別網(wǎng)絡(luò)，獲得待測圖像的早期胃癌概率；

所述區(qū)域顯示單元，基于所述逼真合成圖像和所述待測圖像的胃癌概率，通過基于梯度加權(quán)類激活映射方法獲取疑似早期胃癌的區(qū)域圖像。