[發明專利]基于深度學習的視障輔助的圖像增強方法、設備和介質

有效

• 申請號: 202110829947.3
• 申請日: 2021-07-22
• 公開（公告）號: CN113628130B
• 公開（公告）日: 2023-10-27
• 發明（設計）人: 翟廣濤;吳思婧;段慧煜;閔雄闊;高藝璇;曹于勤
• 申請（專利權）人: 上海交通大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/0464;G06N3/048;G06N3/082
• 代理公司: 上海恒慧知識產權代理事務所(特殊普通合伙) 31317
• 代理人: 徐紅銀

本發明提供一種基于深度學習的視障輔助的圖像增強方法、設備和介質，包括：將卷積神經網絡的輸出端與模擬視障患者的視覺系統的輸入端進行連接，得到級聯系統；對卷積神經網絡進行訓練得到圖像增強網絡，其中：將原始圖像輸入卷積神經網絡進行增強，將增強結果輸入模擬視障患者的視覺系統進行模擬，級聯系統輸出為該視障癥狀的模擬的感知圖像；計算級聯系統輸出和原始圖像的損失，以最小化級聯系統的輸入輸出圖像間的差異為目標，對原始圖像進行增強以補償模擬的視障患者的視覺系統帶來的失真。本發明得到的圖像增強網絡能有效地實現針對視障輔助的圖像增強，實驗表明針對中心視力下降的圖像增強能有效改善患者的視覺功能和主觀感知質量。

技術領域

本發明涉及多媒體圖像增強和視障輔助領域，具體地，涉及一種基于深度學習的視障輔助的圖像增強方法、設備和介質。

背景技術

視覺障礙是全世界面臨的一個嚴重的社會和公共衛生問題。世界衛生組織2019年發布的數據顯示，全球至少有22億人面臨視覺障礙或失明的問題。絕大多數視障患者來自發展中國家，且主要為50歲以上人群。中國作為世界上最大的發展中國家，老齡化進程最快、規模最大的國家，受到的影響尤為嚴重。視障患者在工作、生活等各方面均面臨較大問題，不僅給患者自身帶來了較大的精神壓力，導致其幸福指數大幅下降；其所需的醫療及日常服務也會給家庭及社會帶來較大的負擔。

造成視覺障礙的主要病因有未經矯正的屈光不正、白內障、年齡相關性黃斑變性、青光眼、糖尿病性視網膜病變等。不同的疾病會導致不同的視障癥狀，顯然，若想達到最佳的輔助效果，需要針對不同的視障癥狀設計不同的圖像增強算法。然而，視障患者通常有不止一種視障癥狀。其中，最常見的癥狀是由于視敏度下降和對比敏感度下降導致的中心視力下降，幾乎所有的視障患者都有著不同程度的中心視力下降。因此，針對補償中心視力下降的圖像增強算法能夠幫助絕大多數患者。

針對中心視力下降的圖像增強算法大致可以分為兩類：專用于補償患者中心視力下降的圖像增強算法和使用通用圖像處理算法實現補償的方法。近年來，不少學術界和工業界團隊開始致力于在圖像增強算法的基礎上研發視障輔助設備，但是受限于理論和技術等，這些輔助設備的效果難以滿足視障患者的實際需求，因此也無法大規模投入商用。

專用于補償患者中心視力下降的圖像增強算法最早可追溯到Peli及Peli提出的自適應圖像增強方法(Adaptive Enhancement)，通過放大圖像中的高頻內容，并將低頻內容向中間灰度值壓縮，在補償患者高頻對比敏感度下降的同時避免了灰度值飽和。Peli等人在《Eli Peli,Jeonghoon Kim,Yitzhak Yitzhaky,Robert B Goldstein,and Russell LWoods,“Wideband enhancement of television images for people with visualimpairments,”Journal of the Optical Society of America A,vol.21,no.6,pp.937–50, 2004.》中提出了寬帶增強方法(Wideband Enhancement)，首先利用基于人眼視覺特性的特征檢測算法提取圖像中邊緣、棱角等的雙極性特征，然后將特征縮放后疊加到原圖上以實現圖像增強。Tang等人和Kim等人分別針對JPEG壓縮圖像和 MPEG壓縮視頻，通過在解壓縮階段修正量化矩陣中對應于關鍵頻率范圍(3～7 cycles/degree)的區域中的元素，實現了針對視障輔助的圖像或視頻增強。

通用的圖像處理算法，如圖像二值化、非銳化掩蔽(unsharp masking)、使用通用高通濾波器提取圖像邊緣并疊加回原圖等能夠增強圖像的對比度或高頻內容，因此對視障患者高空間頻率的對比敏感度下降有一定的補償作用，也是針對中心視力下降的圖像增強算法的一種思路。