[發明專利]面向虛擬視角的全參考質量評價方法、系統及存儲介質

在審

• 申請號: 202211408037.9
• 申請日: 2022-11-10
• 公開（公告）號: CN115761209A
• 公開（公告）日: 2023-03-07
• 發明（設計）人: 曹江中;鄭東生;張歡;姚細妹
• 申請（專利權）人: 廣東工業大學
• 主分類號: G06V10/24
• 分類號: G06V10/24;G06V10/74;G06T7/155;G06T5/10;G06T5/30;G06N3/0464;G06N3/08
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 劉俊

本發明提出一種面向虛擬視角的全參考質量評價方法、系統及存儲介質，涉及圖像質量評價的技術領域，首先對參考圖像進行全局移動補償，對參考圖像和虛擬視角進行雙尺度離散小波變換得到小波子帶，計算得到各對子帶的梯度幅度相似性特征GMS圖，然后對各對子帶得到的梯度幅度相似性特征GMS圖進行形態學開運算和中值濾波處理，再對處理后的每對子帶的GMS圖進行標準差池化，得到每個子帶的分數，最后對每對子帶的分數進行線性池化，得到最終的虛擬視角感知質量分數，對不同類型的DIBR算法導致的不同失真均起到比較好的提取效果，使得失真提取結果更加符合人眼感知特性。

技術領域

本發明涉及圖像質量評價的技術領域，更具體地，涉及一種面向虛擬視角的全參考質量評價方法、系統及存儲介質。

背景技術

近年來，虛擬現實、多視角和自由視角視頻等三維相關技術憑借其在遠程教育、醫療和娛樂等眾多領域的廣泛應用而引起人們的密切關注。不過，這些視頻的實現需要大量的視角圖像，而由于網絡帶寬和成本的限制，不可能所有視角都通過攝像機來進行一個個獲取，所以需要借助虛擬視角合成技術，由多個已知合成新的視角圖像。虛擬視角合成技術是實現這些應用的關鍵，在現有虛擬視角合成技術中，最常用的是基于深度圖的繪制方法(Depth-image-basedrendering，DIBR)，現有的DIBR合成技術會導致前景或者背景邊緣出現空洞或者拉伸失真，這將很大程度上影響虛擬視角的感知質量，而視覺質量直接決定該技術能否成功應用。因此，研究面向虛擬視角合成的質量評價具有重要意義。

DIBR繪制生成的視角中主要含有黑洞失真，和比較規則的拉伸失真以及不規則的拉伸失真。一個好的虛擬視角合成的全參考視覺質量評價方法需要對不同類型的DIBR算法導致的不同失真均能起到比較好的提取效果，才能夠預測出更加符合人眼的感知質量。現有技術中公開了一種無參考DIBR生成圖像質量評價方法，該方法通過計算生成圖像的局部二值模式圖LBP，并對LBP圖進行二值化，分別對局部空洞區域、局部拉伸區域進行檢測及質量度量，并綜合全局模糊質量度量進行整體質量評估。但該方案對黑洞失真和比較規則的拉伸失真提取效果比較好，對于不規則的拉伸失真提取效果則欠佳，導致含有這類失真的虛擬視角預測出來的感知質量也不夠準確。

發明內容

為解決當前DIBR圖像質量評價方法對失真提取效果不佳，導致感知質量評測不夠準確的問題，本發明提出一種面向虛擬視角的全參考質量評價方法、系統及存儲介質，對不同類型的DIBR算法導致的不同失真均起到比較好的提取效果，使得失真提取結果更加符合人眼感知特性。

為了達到上述技術效果，本發明的技術方案如下：

一種面向虛擬視角的全參考質量評價方法，包括：

S1.在已知數據集中提取已標注區分的參考圖像和虛擬視角，獲取參考圖像和虛擬視角的特征匹配點，基于特征匹配點對參考圖像進行全局物體移動補償；

S2.對參考圖像和虛擬視角分別進行雙尺度離散小波變換，分別得到參考圖像和虛擬視角的小波子帶，將參考圖像和虛擬視角的子帶配對，基于每對子帶，生成梯度幅度相似性特征GMS圖；

S3.對梯度幅度相似性特征GMS圖依次進行形態學開運算和中值濾波處理；

S4.對處理后的GMS圖進行標準差池化，得到每對小波子帶的分數；

S5.對每對子帶的分數進行線性池化，得到最終的虛擬視角感知質量分數。

在本技術方案中，基于參考圖像和虛擬視角的特征點對參考圖像進行全局物體移動補償，通過雙尺度離散小波變換得到參考圖像和虛擬視角的小波子帶，生成梯度幅度相似性特征GMS圖，通過GMS提取小波子帶的信息，可以更加精準地評價各種不同類型的失真情況。