[發明專利]基于空洞和輪廓擴增的DIBR合成圖像質量評價方法

有效

• 申請號: 201911299990.2
• 申請日: 2019-12-16
• 公開（公告）號: CN111507933B
• 公開（公告）日: 2023-08-01
• 發明（設計）人: 王來花;趙月;王偉勝;賈晴;齊蘇敏
• 申請（專利權）人: 曲阜師范大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/11;G06T7/187
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 劉國威

本發明屬于自由立體成像和質量評價領域，為實現有效評價DIBR合成視圖的質量，促進自由視點立體視頻的發展。為此，本發明采取的技術方案是，基于空洞和輪廓擴增的DIBR合成圖像質量評價方法，依據分水嶺算法和圖像之間的差異，將虛擬視圖中的空洞和輪廓擴增區域提取出來，并利用本發明中的質量評估器有效評價空洞和輪廓擴增區域，以達到有效評價基于深度圖像的繪制技術DIBR合成視圖質量的目的。本發明主要應用于自由立體成像和質量評價場合。

技術領域

本發明屬于自由立體成像和質量評價領域，具體涉及合成圖像質量評價領域的一種基于空洞和輪廓擴增的DIBR合成圖像質量評價方法。

背景技術

為了降低三維(3D)視頻系統對存儲容量和傳輸帶寬的需求，在2003年C.Fehn提出了基于深度圖像的繪制技術(Depth-Image-Based?rendering,DIBR)，但是在繪制的過程中會出現空洞，輪廓擴增等一系列的失真問題。這些失真問題會導致合成圖像質量下降，從而影響整個自由視點立體視頻的觀看效果，最終給觀眾帶來不好的視覺體驗。在二維(2D)圖像質量評價上，已經有很多有效的方法，但是由于DIBR合成圖像類型比較復雜，傳統的質量評價方法很難有效評估DIBR合成圖像中出現的空洞失真，并且在現有的DIBR合成圖像質量評價中并沒有針對輪廓擴增區域進行有效評價，所以完整的提取空洞和輪廓擴增區域并對其進行有效評估從而評估合成圖像的質量是非常棘手的問題。

空洞產生的原因主要是由于在原參考視點中不可見的信息，在虛擬視點中可見。空洞是DIBR合成圖像一個主要的失真問題，對圖像的質量影響比較明顯。輪廓擴增產生的原因是利用空洞周圍的信息填補空洞，裁減圖像的邊緣，然后將圖像擴大到和原來一樣的尺寸。由于擴增區域是利用周圍信息進行填補得到的，所以不易發現，但是在和基準圖的比較中可以明顯看出這類失真。

為了評估虛擬視圖中的空洞，在一些文獻中借助參考圖像，提取出空洞區域，利用空洞區域的大小對合成圖像進行了評估，盡管這種方法有可以有效的提取虛擬視圖中的空洞區域，但是在實施過程中需要參考視圖的參與。目前比較流行的方法是顧等人提出的APT(AR-plus?thresholding，自回歸加閾值)算法，該算法利用自回歸模型對局部像素點進行自預測，然后根據預測殘差的分布對圖像的空洞區進行檢測，并應用空洞區的大小來度量圖像的質量。但是該算法效率太低，實時性差，并不是一種有效的質量評價方法。并沒有文獻提出評估輪廓擴增區域的方法，此類失真目前不能利用無參考的質量評估方法進行提取。因此，對于虛擬視點繪制技術而言，準確地提取并且評估空洞和輪廓擴增區域是非常有意義，此外提高算法的效率也是非常有價值的。

發明內容

為克服現有技術的不足，本發明旨在實現有效評價DIBR合成視圖的質量，促進自由視點立體視頻的發展。為此，本發明采取的技術方案是，基于空洞和輪廓擴增的DIBR合成圖像質量評價方法，依據分水嶺算法和圖像之間的差異，將虛擬視圖中的空洞和輪廓擴增區域提取出來，并利用本發明中的質量評估器有效評價空洞和輪廓擴增區域，以達到有效評價基于深度圖像的繪制技術DIBR合成視圖質量的目的。

具體步驟如下：

1)獲取虛擬視圖的梯度圖，利用分水嶺算法將梯度圖中灰度值相同的區域進行分割，從而獲得分割后的坐標集，根據分割的坐標集，利用二值操作對梯度圖進行操作，將坐標集內的區域標記為白色，其余區域標記為黑色；

2)利用圖像膨脹方法，消除過度分割的區域；利用中值濾波去除二值圖像中的椒鹽噪聲，從而獲得完整的空洞圖；

3)獲得完整的空洞圖后，標記每個空洞區域，根據空洞區域的面積大小和空洞的離散程度，設計空洞質量評估器，對空洞區域進行評估；

4)對基準圖和虛擬視圖進行直方圖規定化處理，將圖片轉化為統一形式，分通道進行差分運算，提取基準圖和虛擬視圖之間的輪廓差異，然后利用閾值法，消除噪聲；