[發明專利]基于擴散模型的圖像增強方法、裝置、設備及存儲介質

在審

• 申請號: 202310922672.7
• 申請日: 2023-07-26
• 公開（公告）號: CN116664450A
• 公開（公告）日: 2023-08-29
• 發明（設計）人: 王紅凱;徐昱;毛冬;戴波;陳祖歌;黃建平;李鐘煦;鄭怡;饒涵宇;李高磊
• 申請（專利權）人: 國網浙江省電力有限公司信息通信分公司;國網信息通信產業集團有限公司;國網浙江省電力有限公司磐安縣供電公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06V10/44;G06T9/00
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 薛夢

本發明公開基于擴散模型的圖像增強方法、裝置、設備及存儲介質，方法包括：獲取待增強的目標圖像與圖像增強指令，編碼得到編碼特征圖和文本編碼；將編碼特征圖和文本編碼輸入到預先訓練好的目標圖像增強網絡中；按照預設噪聲添加規則和預設步數，逐步向編碼特征圖中添加高斯噪聲，得到服從高斯分布的目標噪聲圖像，并確定每一步添加高斯噪聲后的結果圖像中的預測噪聲；基于交叉注意力機制，對目標噪聲圖像中與文本編碼對應的區域進行圖像增強，得到加噪增強圖像；按照預設噪聲去除規則和預設步數，逐步從加噪增強圖像中去除每一步的預測噪聲，得到去噪后圖像；對去噪后圖像進行解碼，得到增強后圖像。本發明有效地提高了對特征缺失較多的圖像的增強效果。

技術領域

本發明涉及圖像增強的技術領域，尤其涉及基于擴散模型的圖像增強方法、裝置、設備及存儲介質。

背景技術

圖像是電子系統中最常見的信息載體之一，在醫學影像、無人機攝影、安防監控、工業檢測等領域中被廣泛應用。然而，由于環境條件、設備限制和采集過程中的噪聲等因素的影響，導致采集到的許多原始圖片在質量、對比度、清晰度和細節表現等方面存在著局限性。圖像增強技術是指對圖像中的特征進行處理，以改善圖像的視覺效果，提高圖像的質量的技術。

傳統的圖像增強方法通常采用圖像濾波、直方圖均衡化以及圖像銳化等技術來改善圖像的質量。然而，這些方法在面對復雜場景和特定應用時，對圖像的增強效果有限。例如：在醫學影像中，傳統的圖像增強方法無法有效提取病變細節或準確還原圖像的組織結構；在無人機攝影中，由于光照條件和拍攝距離的變化，導致拍攝的圖像可能存在模糊、噪點和對比度低等問題，采用傳統的圖像增強方法對拍攝的圖像的增強效果有限；在安防監控中，采用傳統的圖像增強方法無法準確識別和追蹤目標物體。

隨著深度學習和計算機視覺等領域的快速發展，研究人員提出了基于電子系統的圖像增強方法來克服上述問題。為了提高圖像增強效果，現有的圖像增強算法基于神經網絡模型實現，具體實現方式包括但不限于以下兩種方式：第一種：卷積神經網絡（Convolutional?Neural?Networks，CNN），CNN在訓練時使用低質量圖像（即需要進行圖像增強的圖像）作為輸入，高質量圖像（即不需要進行圖像增強的圖像）作為訓練目標，使用損失函數進行網絡的迭代訓練。在進行圖像增強時，將待進行圖像增強的目標圖像輸入訓練后的CNN，輸出得到圖像增強后的圖像。第二種：生成式對抗網絡（Generative?AdversarialNetworks，GAN），GAN使用低質量圖像作為輸入，高質量圖像作為訓練目標，在生成器和鑒別器的對抗中進行迭代訓練。在進行圖像增強時，將待進行圖像增強的目標圖像輸入訓練后的生成器，輸出得到圖像增強后的圖像。

但是，現有的用于進行圖像增強的神經網絡模型對特征缺失較多的圖像的增強效果較差。

發明內容

本發明提供基于擴散模型的圖像增強方法、裝置、設備及存儲介質，解決了現有技術對特征缺失較多的圖像增強效果差的問題。

為達到上述目的，本發明采用如下技術方案：

第一方面，本發明提供基于擴散模型的圖像增強方法，該方法包括：

獲取待增強的目標圖像，并通過編碼器對所述目標圖像進行編碼，得到編碼特征圖；

獲取圖像增強指令，通過文本編輯器對所述圖像增強指令進行編碼，得到文本編碼；所述圖像增強指令包括需要增強的圖像的特征和位置；

將所述編碼特征圖和所述文本編碼輸入到預先訓練好的目標圖像增強網絡中；

按照預設噪聲添加規則和預設步數，逐步向所述編碼特征圖中添加高斯噪聲，得到服從高斯分布的目標噪聲圖像，并確定每一步添加高斯噪聲后的結果圖像中的預測噪聲；

基于交叉注意力機制，對所述目標噪聲圖像中與所述文本編碼對應的區域進行圖像增強，得到加噪增強圖像；

按照預設噪聲去除規則和所述預設步數，逐步從所述加噪增強圖像中去除每一步的所述預測噪聲，得到去噪后圖像；

通過解碼器對所述去噪后圖像進行解碼，得到增強后圖像。