[發明專利]一種基于注意力生成對抗網絡的多曝光圖像融合方法

在審

• 申請號: 202010219045.3
• 申請日: 2020-03-25
• 公開（公告）號: CN111429433A
• 公開（公告）日: 2020-07-17
• 發明（設計）人: 李曉光;吳超瑋;黃江魯;卓力;李嘉鋒
• 申請（專利權）人: 北京工業大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06N3/04;G06N3/08
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 劉萍

本發明提出了一種基于注意力生成對抗網絡的多曝光圖像融合方法。注意力機制的思想與多曝光融合中的細節加權問題高度匹配，可以應用通道注意力自適應選擇各個輸入圖像的權重，用空間注意來自適應的選擇不同空間位置的權重。該技術在各種多媒體視覺領域都有廣泛的應用前景。所述算法設計了一種新的注意力生成對抗網絡用于多曝光圖像融合任務，通過將視覺注意力機制引入到生成網絡，能夠幫助網絡自適應地學習不同輸入圖像以及不同空間位置的權重，來實現更好的融合效果。

技術領域

本發明屬于數字圖像/視頻信號處理領域，特別涉及一種基于注意力生成對抗網絡的多曝光圖像融合方法。

背景技術

隨著計算機和多媒體技術的發展，各種多媒體應用都對高質量圖像提出了廣泛的需求。高質量的圖像能夠提供豐富的信息和真實的視覺感受。然而，在圖像獲取過程中，受到圖像采集設備、采集環境、噪聲等因素的影響，在顯示終端呈現的圖像往往是低質量的圖像。因此，如何通過低質量圖像重建高質量的圖像，一直都是圖像處理領域面臨的一個挑戰。

從明亮的陽光到昏暗的星光，自然場景中的照明強度可以跨越非常大的動態范圍，亮度對比度可超過14個數量級。普通數字攝像機只能在每個顏色通道上捕獲8位圖像。現有圖像亮度級別與自然景物亮度動態范圍不匹配。有限的亮度動態范圍使得數字圖像對高對比度自然場景的展現能力受限，會出現亮區域曝光過度或暗區域曝光不足問題。增強圖像亮度動態范圍可有效提高圖像對高對比度場景的表現能力，提高圖像視覺質量。

各種多媒體應用都對高動態范圍圖像和視頻提出了廣泛的需求。如網絡視頻公司希望通過提高視頻的動態范圍來提高視頻內容的主觀質量，手機廠商會以相機的高動態范圍內容拍攝性能作為賣點宣傳?？梢姡邉討B范圍圖像在視覺媒體領域有廣泛的應用需求和重要的商業價值。

針對圖像的動態范圍增強問題，多重曝光融合方法通過融合不同曝光圖像的細節信息，生成細節增強的高動態范圍圖像。其中，如何從曝光不同的圖像中選擇細節信息是一個具有挑戰的問題。

通過快速掃描全局圖像，人類視覺系統可以獲取需要聚焦的目標區域(通常稱為關注焦點)，然后將更多的注意力資源投入該區域以獲得焦點區域更多的細節信息。這是人類用有限的資源從大量信息中快速篩選出高價值信息的一種能力。人類的視覺注意力極大地提高了視覺信息處理的效率和準確性。

受人類視覺注意力啟發，注意力機制的概念被引入到了深度學習中。近年來，基于深度學習的方法在許多計算機視覺任務和一些低層圖像處理問題中取得了巨大的成功。其中，注意力機制已經成為各種應用中發揮作用。我們觀察發現，注意力機制適用于解決多曝光融合問題，可以利用注意力機制來自適應的選擇權重。

本發明提出了一種基于注意力生成對抗網絡的多曝光圖像融合方法。注意力機制的思想與多曝光融合中的細節加權問題高度匹配，可以應用通道注意力自適應選擇各個輸入圖像的權重，用空間注意來自適應的選擇不同空間位置的權重。該技術在各種多媒體視覺領域都有廣泛的應用前景。

發明內容

本發明的目的在于克服現有多曝光圖像融合方法依賴于人工定義融合權重的計算方式不同，針對基于多曝光圖像融合方法的圖像動態范圍增強問題，提供了一個基于注意力生成對抗網絡的多曝光融合方法，該生成對抗網絡可以利用通道注意力機制自適應地決定每個輸入的權重，利用空間注意力機制自適應的決定任意空間位置的權重，實現數據驅動的自適應端到端多曝光圖像融合。

本發明是采用以下技術手段實現的：

一種基于注意力生成對抗網絡的多曝光圖像融合方法。該方法采用生成對抗網絡框架，首先，多幅不同曝光的圖像通過融入注意力機制的生成網絡得到多曝光融合圖像；然后，將融合圖像與目標Ground-truth圖像送入判別網絡進行判斷，在生成網絡和判別網絡的相互博弈中，訓練得到細節和動態范圍增強的多曝光融合生成網絡。該方法的整體網絡如附圖1所示，分為兩部分：生成網絡和判別網絡，具體生成網絡如附圖2所示。