[發明專利]基于生成對抗神經網絡的通用內窺鏡圖像增強方法及裝置

在審

• 申請號: 202010541347.2
• 申請日: 2020-06-12
• 公開（公告）號: CN111784596A
• 公開（公告）日: 2020-10-16
• 發明（設計）人: 范敬凡;楊健;王涌天;李雅婷
• 申請（專利權）人: 北京理工大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/04;G06N3/08
• 代理公司: 北京市中聞律師事務所 11388
• 代理人: 馮夢洪

1.基于生成對抗神經網絡的通用內窺鏡圖像增強方法，其特征在于：其包括以下步驟：

(1)使用生成對抗網絡訓練出一個單一的針對大部分內窺鏡圖像都存在的圖像質量缺陷的模型；

(2)提取出該模型中生成器的部分網絡層作為一個通用的預訓練模型；

(3)針對不同的內窺鏡圖像質量缺陷，在步驟(2)的預訓練模型的基礎上進行訓練，最終得到針對不同內窺鏡圖像質量缺陷的性能更加良好的神經網絡模型。

2.根據權利要求1所述的基于生成對抗神經網絡的通用內窺鏡圖像增強方法，其特征在于：所述步驟(1)中，生成對抗網絡為采用循環一致性損失的生成對抗神經網絡；訓練時的圖片具有在內窺鏡圖像中廣泛性存在的圖像質量缺陷，有圖像質量缺陷的內窺鏡圖像為x_i為第i張缺陷圖像，N為缺陷圖像的總數；轉化后的圖像質量可觀的內窺鏡圖像為y_i為第i張高質量圖像，M為高質量圖像的總數。

3.根據權利要求2所述的基于生成對抗神經網絡的通用內窺鏡圖像增強方法，其特征在于：所述步驟(1)中，圖像質量缺陷包括：亮暗不均、模糊。

4.根據權利要求3所述的基于生成對抗神經網絡的通用內窺鏡圖像增強方法，其特征在于：所述步驟(2)中，在該網絡中，引入兩個生成器G：X→Y和F：Y→X，以及兩個分別與之對應的判別器D_Y和D_X；在兩個對偶的生成對抗網絡中引入生成對抗損失進行對抗訓練，為了得到對抗損失對于生成器G和與之對應的判別器D_Y有公式(3)：

對于生成器F和與之對應的判別器D_X有公式(4)：

使用生成器G將有圖像質量缺陷的內窺鏡圖像x轉化為質量較好的圖像G(x)，再通過生成器F將G(x)恢復成圖像質量差的F(G(x))，保證圖像經過兩個生成器G和F后仍然能夠回復到圖像本身；

整個訓練過程包括前向循環公式(5)：

x→G(x)→F(G(x))≈x (5)

和后向循環公式(6)：

y→F(y)→G(F(y))≈y (6)

引入L1范數計算循環一致性損失見公式(7)：

則總損失函數為公式(8)：

λ為一致性損失的權重；

該網絡的目標函數為公式(9)：

5.根據權利要求4所述的基于生成對抗神經網絡的通用內窺鏡圖像增強方法，其特征在于：所述步驟(2)中，輸入256×256大小的圖像，進行三次降采樣后采用9個resnet模塊處理特征圖像，最后使用三次上采樣恢復至原圖大小；降采樣第一層和上采樣最后一層采用步長為1，卷積核大小為7×7的卷積層；后兩層降采樣均采用步長為2，卷積核大小為3×3的卷積層；前兩層上采樣采用步長為1/2，卷積核大小為3×3的反卷積層；判別器網絡采用70x70的PatchGANs。

6.根據權利要求5所述的基于生成對抗神經網絡的通用內窺鏡圖像增強方法，其特征在于：所述步驟(2)中，網絡訓練時，兩個生成器和兩個判別器分別共享權重；訓練時，在公式(8)中λ取8.0，初始學習率設置為0.0002，前30個輪次學習率保持不變，后90個輪次采用線性下降策略，使學習率逐漸下降至趨于0。

7.根據權利要求6所述的基于生成對抗神經網絡的通用內窺鏡圖像增強方法，其特征在于：所述步驟(3)中，在生成器G：X→Y中，提取后五個resnet塊以及三個上采樣層作為共享部分；在生成器F：Y→X中，提取三個下采樣層以及前五個resnet塊作為共享部分；將該預訓練模型遷移至不同的內窺鏡圖像質量增強模型中，采用循環一致性損失的生成對抗神經網絡訓練，得到針對不同內窺鏡圖像質量缺陷的性能更加良好的神經網絡模型。

8.根據權利要求7所述的基于生成對抗神經網絡的通用內窺鏡圖像增強方法，其特征在于：所述步驟(3)中，內窺鏡圖像增強模型包括：去煙模型、色彩校正模型。