[發明專利]一種視頻圖像增強方法

有效

• 申請號: 202010761187.2
• 申請日: 2020-07-31
• 公開（公告）號: CN111899176B
• 公開（公告）日: 2022-08-12
• 發明（設計）人: 羅雄彪;萬英
• 申請（專利權）人: 羅雄彪;萬英;曾志明;忞惪醫療機器人（蘇州）有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T3/60;G06V10/80;G06V10/774;G06V10/82;G06N3/04
• 代理公司: 北京知聯天下知識產權代理事務所(普通合伙) 11594
• 代理人: 張陸軍;張迎新

本發明提供一種視頻圖像增強方法，包括：基于圖像灰度變換對醫療視頻圖像訓練集擴充增強，得到深度學習所需的視頻圖像數據訓練集；對輸入的測試圖像進行圖像降采樣處理，得到低分辨率圖像；基于深度學習卷積神經網絡對所述低分辨率圖像進行照射分量預測，得到二維的低分辨率圖像照射分量圖；基于雙邊網格與引導濾波對所述低分辨率圖像照射分量圖進行全分辨率圖像照度分量預測，得到全分辨率圖像照度分量；對全分辨率圖像照度分量進行圖像增強，得到增強后的圖像。本發明解決了現有技術中的光照不足與不均勻性問題和基于深度學習的方法對數據的需求量大，同時圖像視頻數據不足的問題，提升了視頻圖像質量，實現了視頻圖像實時增強處理。

技術領域

本發明屬于圖像處理領域，特別涉及一種視頻圖像增強方法。

背景技術

現有的微創介入手術過程中，經常出現視頻圖像光線不足與光照不均勻的情況，造成手術風險急劇增加。因此，如何增強視頻圖像的清晰度具有重要的臨床應用價值。由于現有的醫療手術視頻技術中數據采集不足，模型運算速度不夠，模型泛化能力不強等現象，使得現有的深度學習圖像增強方法較少被用于處理手術圖像增強問題。同時，傳統的圖像增強方法存在著只能用于處理某些特定的問題，容易產生噪音等現象的問題。

隨著深度學習的發展，基于深度學習的圖像增強方法，可提取圖像深層信息，根據深層信息預測增強后的圖像，取得了很好的效果。但是深度學習圖像增強方法依賴于大量訓練數據集、損失函數的選擇，對設備運算能力要求過高，難以達到實時處理效果。這些問題導致基于深度學習的視頻圖像增強方法的設計與實施尤為困難。

發明內容

針對上述問題，本發明提供一種視頻圖像增強方法。

本發明的視頻圖像增強方法，包括步驟：

一、基于圖像灰度變換對醫療視頻圖像訓練集擴充增強，得到深度學習所需的視頻圖像數據訓練集；

二、對輸入的測試圖像進行圖像降采樣處理，得到低分辨率圖像；

三、基于深度學習卷積神經網絡對所述低分辨率圖像進行照射分量預測，得到二維的低分辨率圖像照射分量圖；

四、基于雙邊網格與引導濾波對所述低分辨率圖像照射分量圖進行全分辨率圖像照度分量預測，得到全分辨率圖像照度分量；

五、對所述全分辨率圖像照度分量基于多尺度Retinex模型進行圖像增強，得到增強后的圖像。

進一步，在所述步驟五后執行步驟：

六、基于深度學習卷積神經網絡對所述增強后的圖像進行圖像增強效果判別。

進一步，

在所述步驟六中，引入卷積神經網絡作為圖像增強效果判別器，所述圖像增強效果判別器包括塊以及全連接層，所述塊包括卷積層、激活函數和歸一化層；

所述圖像增強效果判別器的輸入為3通道的彩色圖片，所述圖像增強效果判別器的輸出為一個數值。

進一步，

所述塊的數目取為2～100。

進一步，

所述塊的數目取為3。

進一步，

利用所述視頻圖像數據訓練集對所述圖像增強效果判別器進行訓練。

進一步，

對所述圖像增強效果判別器進行訓練的輸入方法為：輸入光照不足不均勻的第二視頻圖像集X后，再輸入與所述第二視頻圖像集X所對應的光照充足均勻的第一視頻圖像集Y。

進一步，

采用所述輸入方法后，在對所述圖像增強效果判別器進行訓練時，