[發明專利]基于生成對抗神經網絡的通用內窺鏡圖像增強方法及裝置

在審

• 申請號: 202010541347.2
• 申請日: 2020-06-12
• 公開（公告）號: CN111784596A
• 公開（公告）日: 2020-10-16
• 發明（設計）人: 范敬凡;楊健;王涌天;李雅婷
• 申請（專利權）人: 北京理工大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/04;G06N3/08
• 代理公司: 北京市中聞律師事務所 11388
• 代理人: 馮夢洪

基于生成對抗神經網絡的通用內窺鏡圖像增強方法及裝置，能夠既滿足任務的需求又對真實場景有很強的適應性，能夠應用在不同的內窺鏡圖像質量增強問題中，且大幅度提升訓練的精度。方法包括：(1)使用生成對抗網絡訓練出一個單一的針對大部分內窺鏡圖像都存在的圖像質量缺陷的模型；(2)提取出該模型中生成器的部分網絡層作為一個通用的預訓練模型；(3)針對不同的內窺鏡圖像質量缺陷，在步驟(2)的預訓練模型的基礎上進行訓練，最終得到針對不同內窺鏡圖像質量缺陷的性能更加良好的神經網絡模型。

技術領域

本發明涉及醫學圖像處理的技術領域，尤其涉及一種基于生成對抗神經網絡的通用內窺鏡圖像增強方法，以及基于生成對抗神經網絡的通用內窺鏡圖像增強裝置。

背景技術

內窺鏡由光源、鏡頭和可彎曲部分組成，是最常用的醫療器械之一。在內窺鏡成像過程中，會產生不同的圖像質量問題。由于體內腔道狹窄，無法獲得均勻的全視場照明，獲得的內窺鏡圖像明暗不均；由于體內粘膜表面潮濕光滑，獲得的內窺鏡圖像布滿高亮的光斑；由于術中操作切除病變組織會產生大量白煙，獲得的內窺鏡圖像模糊一片。在使用激光療法的手術中，往往會在鏡頭前加一個濾光片避免激光強度過高導致內窺鏡圖像過度曝光，防止造成獲得的內窺鏡圖像顏色失真。再者，由于內窺鏡本身的電子噪聲、抖動、干擾等因素的影響，也會導致內窺鏡成像質量下降。

在深度學習領域，已經提出了許多基于配對圖像監督學習的圖像質量增強方法，但每種方法僅針對一種圖像質量增強問題。內窺鏡圖像涉及患者隱私獲取困難，可用數據量遠遠小于自然圖像，也沒有可用的配對公開數據集。因此這些方法僅能用模擬數據訓練模型，在真實內窺鏡圖像上表現不容樂觀。而且每個不同的方法僅針對一種圖像質量問題，缺乏通用性。因此，現有的內窺鏡圖像質量增強方法采用配對的模擬數據進行訓練對真實內窺鏡場景的魯棒性較差，且不同的方法僅僅適用于特定的內窺鏡圖像質量缺陷不具有通用性。

發明內容

為克服現有技術的缺陷，本發明要解決的技術問題是提供了一種基于生成對抗神經網絡的通用內窺鏡圖像增強方法，其能夠既滿足任務的需求又對真實場景有很強的適應性，能夠應用在不同的內窺鏡圖像質量增強問題中，且大幅度提升訓練的精度。

本發明的技術方案是：這種基于生成對抗神經網絡的通用內窺鏡圖像增強方法，其包括以下步驟：

(1)使用生成對抗網絡訓練出一個單一的針對大部分內窺鏡圖像都存在的圖像質量缺陷的模型；

(2)提取出該模型中生成器的部分網絡層作為一個通用的預訓練模型；

(3)針對不同的內窺鏡圖像質量缺陷，在步驟(2)的預訓練模型的基礎上進行訓練，最終得到針對不同內窺鏡圖像質量缺陷的性能更加良好的神經網絡模型。

本發明通過使用生成對抗網絡訓練出一個單一的針對大部分內窺鏡圖像都存在的圖像質量缺陷的模型，相對于使用配對的模擬數據訓練出的模型在真實的內窺鏡場景下適應性更強，更能滿足醫生手術操作中的實際需求；提出的預訓練模型作為通用的主干網絡能夠應用在不同的內窺鏡圖像質量增強問題中，且大幅度提升訓練的精度，得到更加令人滿意的結果。

還提供了基于生成對抗神經網絡的通用內窺鏡圖像增強裝置，其包括：

初始訓練模塊，其配置來使用生成對抗網絡訓練出一個單一的針對大部分內窺鏡圖像都存在的圖像質量缺陷的模型；

提取模塊，其配置來提取出該模型中生成器的部分網絡層作為一個通用的預訓練模型；

遷移模塊，其配置來針對不同的內窺鏡圖像質量缺陷，在預訓練模型的基礎上進行訓練，最終得到針對不同內窺鏡圖像質量缺陷的性能更加良好的神經網絡模型。

附圖說明

圖1是根據本發明的基于生成對抗神經網絡的通用內窺鏡圖像增強方法的網絡結構。