[發明專利]基于深度學習的視障輔助的圖像增強方法、設備和介質

有效

• 申請號: 202110829947.3
• 申請日: 2021-07-22
• 公開（公告）號: CN113628130B
• 公開（公告）日: 2023-10-27
• 發明（設計）人: 翟廣濤;吳思婧;段慧煜;閔雄闊;高藝璇;曹于勤
• 申請（專利權）人: 上海交通大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/0464;G06N3/048;G06N3/082
• 代理公司: 上海恒慧知識產權代理事務所(特殊普通合伙) 31317
• 代理人: 徐紅銀

1.一種基于深度學習的視障輔助的圖像增強方法，其特征在于，包括：

設計一個用于圖像增強的卷積神經網絡，將所述卷積神經網絡的輸出端與模擬視障患者的視覺系統的輸入端進行連接，得到級聯系統；

對所述卷積神經網絡進行訓練得到圖像增強網絡，所述圖像增強網絡能實現針對該視障癥狀的圖像增強；

其中：對所述卷積神經網絡進行訓練得到圖像增強網絡，包括：

將原始圖像輸入所述卷積神經網絡進行增強，將增強結果輸入所述模擬視障患者的視覺系統進行模擬，所述模擬視障患者的視覺系統輸出為該視障癥狀的模擬的感知圖像，也是所述級聯系統的輸出；

計算所述模擬視障患者的視覺系統輸出和所述原始圖像的損失，以最小化所述級聯系統的輸入輸出圖像間的差異為目標，對原始圖像進行增強以補償模擬的視障患者的視覺系統帶來的失真。

2.根據權利要求1所述的基于深度學習的視障輔助的圖像增強方法，其特征在于，所述將增強結果輸入所述模擬視障患者的視覺系統進行模擬，是指：利用圖像處理操作對輸入的原始圖像進行處理，得到模擬的視障患者眼中看到的圖像即模擬的感知圖像。

3.根據權利要求1所述的基于深度學習的視障輔助的圖像增強方法，其特征在于，所述設計一個用于圖像增強的卷積神經網絡，其中，采用基于UNet的結構的卷積神經網絡；

在標準UNet結構的基礎上，在每層的卷積和ReLU中間加上批歸一化(BN)，并在卷積神經網絡的最后一層加上Sigmoid激活函數得到圖像增強網絡。

4.根據權利要求1所述的基于深度學習的視障輔助的圖像增強方法，其特征在于，所述以最小化所述級聯系統的輸入輸出圖像間的差異為目標，是指：

設所述級聯系統的輸入圖像為I，所述級聯系統訓練的目標是訓練圖像增強網絡，使得通過所述卷積神經網絡增強后圖像，通過模擬的視覺系統后得到的圖像和輸入的原始圖像盡可能接近，即模擬的視障患者眼中看到的圖像和原始圖像盡可能接近。

5.根據權利要求1所述的基于深度學習的視障輔助的圖像增強方法，其特征在于，當所述視障患者為中心視力下降的患者時，所述圖像增強方法包括：

S1：對中心視力下降患者的視覺系統進行模擬，即對輸入圖像進行處理操作得到模擬的中心視力下降者的感知圖像；

S2：設計一個能夠實現圖像增強的卷積神經網絡，所述卷積神經網絡使用基于UNet的網絡結構；

S3：將S2中的所述卷積神經網絡和S1中模擬的視覺系統連接得到級聯系統，然后利用相同的高清圖像作為級聯系統的輸入輸出進行所述卷積神經網絡訓練，訓練好的所述卷積神經網絡作為圖像增強網絡；

S4：將待增強的圖像輸入S3訓練好的所述圖像增強網絡，實現針對中心視力下降的圖像增強。

6.根據權利要求5所述的基于深度學習的視障輔助的圖像增強方法，其特征在于，所述S1中，利用基于臨床測量指標Pelli-Robson得分和logMAR視力的近似對比敏感度函數和人眼的多頻帶分解特性對中心視力下降進行模擬，包括：

首先將待模擬圖像分解到各個空間頻帶上，然后分別求出各個空間頻帶上圖像的局部帶限對比度，與中心視力下降患者的對比度檢測閾值進行比較，即得到其各個空間頻帶上的可見內容，最后將這些可見內容合并即為模擬的感知圖像。