[發明專利]一種多曝光融合圖像質量評價方法

有效

• 申請號: 202110403967.4
• 申請日: 2021-04-15
• 公開（公告）號: CN113409247B
• 公開（公告）日: 2022-07-15
• 發明（設計）人: 姜求平;徐佳武;邵楓
• 申請（專利權）人: 寧波大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T5/00
• 代理公司: 寧波奧圣專利代理有限公司 33226
• 代理人: 周玨

本發明公開了一種多曝光融合圖像質量評價方法，其從三幅原始圖像的梯度圖中提取出最大值梯度圖，進而得到梯度特征；獲取原始圖像的梯度圖中的像素點的結構張量，并獲取多曝光融合圖像的梯度圖中的像素點的結構張量，通過計算結構張量之間的余弦距離得到結構特征；通過計算原始圖像中的每個像素點的曝光度、對比度和飽和度，得到對應的權重圖，再利用金字塔融合技術對原始圖像上采樣生成拉普拉斯金字塔，對權重圖上采樣生成高斯金字塔，得到偽參考融合圖像，進而得到全局感知特征；將梯度特征、結構特征、全局感知特征構成的特征向量作為輸入，結合支持向量回歸技術，得到客觀質量評價預測值；優點是能提高客觀評價結果與主觀感知的相關性。

技術領域

本發明涉及一種圖像質量評價方法，尤其是涉及一種多曝光融合圖像質量評價方法。

背景技術

動態范圍指的是一個場景下光線強度的最大值與最小值之比。自然場景中的動態范圍通常要遠超普通數碼相機所拍攝獲取到的數碼照片的動態范圍，從另一方面來說，在一個高動態范圍的場景下，現有的顯示裝置只能處理非常有限的動態范圍，這導致單一的數碼照片無法展示自然場景中的全部細節信息，具體表現在數碼照片的亮的區域與暗的區域細節信息丟失。普通數碼相機在拍攝過程中，存在過曝光與欠曝光現象，這導致出現了低動態范圍的現象。在特殊的拍攝環境中，比如在天空中，由于光線環境的特殊性，因此存在高亮極暗的現象，這導致數碼照片的過亮的區域與過暗的區域細節信息丟失。因此，單一的數碼照片通常會丟失自然場景的部分細節信息，甚至是關鍵信息，從而無法滿足人們對于高質量圖片的需求。

近幾年來，存在著兩種技術途徑來解決單一的數碼照片無法展示自然場景下的所有細節信息的技術問題：高動態范圍(High Dynamic Range，HDR)技術和多曝光圖像融合(Multi-exposure image Fusion，MEF)技術。

高動態范圍技術首先通過同一場景下不同曝光度的圖像序列來擴充圖像的動態范圍，再通過色調映射的方法在單一圖像中顯示。由于高動態范圍技術需要進行高動態范圍重建與色調映射兩個步驟，因此存在計算量大、耗時久的問題。

多曝光圖像融合技術直接對多曝光圖像序列進行融合，極大地簡化了圖像的生成過程。通常來說，多曝光圖像融合技術首先使用數碼相機在不同的曝光度下拍攝多張低動態范圍圖像，然后在變換域或者空間域上進行圖像融合。近年來，隨著深度學習以及神經網絡相關研究的不斷發展，也出現了許多基于深度學習的多曝光圖像融合方法。多曝光圖像融合技術目前在各種電子顯示設備上都有著廣泛的應用，其被證明能夠有效地增強圖像的顯示效果，并且能夠在普通的顯示設備上顯示，而不需要昂貴的高動態顯示設備。

目前，有許多人提出了不同的多曝光圖像融合方法，但是關于多曝光融合圖像質量評價方面的研究還有所欠缺。因此，為了篩選出性能最佳的多曝光圖像融合方法，多曝光融合圖像質量評價就顯得尤為重要。在近十年間，大量圖像評價領域的研究人員開發出了許多客觀質量評價模型，用來評價多曝光融合圖像的質量，有的認為多曝光融合圖像的質量與信息的保持程度有關，提出一種通過計算參考圖像與多曝光融合圖像之間的互信息的方法來評價多曝光融合圖像的質量，但是該方法并沒有針對多曝光融合圖像的具體的特征，而是僅僅考慮了多曝光融合圖像整體的信息相關性。后來人們發現多曝光融合圖像的邊緣區域對人眼視覺感知系統影響很大，因此提出了一些基于圖像邊緣信息的質量評價方法。例如，利用Sobel邊緣算子提取輸入圖像的邊緣信息，計算每幅參考圖像和多曝光融合圖像中邊緣信息的強度和方向的保持程度，然后在原圖像之間進行組合，得到最終質量分數；或是使用小波變換對圖像進行了尺度分解，并且計算每個尺度下多曝光融合圖像的邊緣保持。此外，還有人通過計算參考圖像的局部顯著信息在多曝光融合圖像中的表現程度開發了一種評價方法。上述這些多曝光融合圖像質量評價方法的客觀評價結果與主觀感知的相關性還有待提高。

發明內容

本發明所要解決的技術問題是提供一種多曝光融合圖像質量評價方法，其能夠有效地提高客觀評價結果與主觀感知的相關性。