[發明專利]基于空洞和輪廓擴增的DIBR合成圖像質量評價方法

有效

• 申請號: 201911299990.2
• 申請日: 2019-12-16
• 公開（公告）號: CN111507933B
• 公開（公告）日: 2023-08-01
• 發明（設計）人: 王來花;趙月;王偉勝;賈晴;齊蘇敏
• 申請（專利權）人: 曲阜師范大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/11;G06T7/187
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 劉國威

1.一種基于空洞和輪廓擴增的DIBR合成圖像質量評價方法，其特征是，依據分水嶺算法和圖像之間的差異，將虛擬視圖中的空洞和輪廓擴增區域提取出來，并利用質量評估器有效評價空洞和輪廓擴增區域，以達到有效評價基于深度圖像的繪制技術DIBR合成視圖質量的目的；具體步驟如下：

1)獲取虛擬視圖的梯度圖，利用分水嶺算法將梯度圖中灰度值相同的區域進行分割，從而獲得分割后的坐標集，根據分割的坐標集，利用二值操作對梯度圖進行操作，將坐標集內的區域標記為白色，其余區域標記為黑色；

2)利用圖像膨脹方法，消除過度分割的區域；利用中值濾波去除二值圖像中的椒鹽噪聲，從而獲得完整的空洞圖；

3)獲得完整的空洞圖后，標記每個空洞區域，根據空洞區域的面積大小和空洞的離散程度，設計空洞質量評估器，對空洞區域進行評估；

4)對基準圖和虛擬視圖進行直方圖規定化處理，將圖片轉化為統一形式，分通道進行差分運算，提取基準圖和虛擬視圖之間的輪廓差異，然后利用閾值法，消除噪聲；

5)為避免重復計算空洞，將步驟2)獲得的空洞圖和差分后的圖像異或處理，將空洞剔除，提取出輪廓擴增區域；

6)根據提取的輪廓擴增區域的面積，設計輪廓擴增區域質量評估器，對輪廓擴增區域進行評估；

7)對步驟3)和步驟6)計算兩個質量分數池化，對整個DIBR合成圖像的進行整體評分。

2.如權利要求1所述的基于空洞和輪廓擴增的DIBR合成圖像質量評價方法，其特征是，各步驟詳述如下：

1)首先獲取虛擬視圖的梯度圖，記為g(x,y)：

其中，g(x,y)為虛擬視圖的梯度圖，f(x,y)為虛擬視圖，(x,y)為像素位置；

利用分水嶺算法對g(x,y)中灰度值相同的區域進行分割，得到的分割后的坐標集為T[n]：

T[n]＝{(x,y)|g(x,y)n}

其中，T[n]是g(x,y)中位于平面g(x,y)＝n下方的點的坐標集，n在此處設置值為1；

利用T[n]，對g(x,y)進行二值化操作，對處在平面g(x,y)＝n下方的點的坐標即空洞區域被標記為白色，其余的即非空洞區域被標記為黑色，從而獲得空洞圖：

其中，D(x,y)為空洞圖；

2)首先利用半徑為1的圓形結構元素，對D(x,y)進行腐蝕，消除過度分割的區域

hS(x,y)＝D(x,y)ΘS

其中，hS(x,y)是消除過度分割區域后的空洞圖，Θ是腐蝕操作元素符號，S是半徑為1的圓形結構元素；

然后利用中值濾波去除hS(x,y)中的椒鹽噪聲，從而獲得完整的空洞圖，提取出的空洞記為h(x,y)：

h(x,y)＝med{hS(x-b,y-l),(b,l∈W)}

其中，h(x,y)是完整的空洞圖，med代表中值濾波操作，b和l是中值濾波模板中的數值，W是由鄰近幾何像素組成的濾波模板；

3)將h(x,y)中空洞區域進行標記：

Y_t＝(Y_t-1⊕T)∩h(x,y)t＝1,2,3，∞

T為結構元素，結構元素通常選用3×3的正方形結構元素，t的值根據圖片中空洞區域的數目決定，上限是無窮大∞，⊕表示用T對Y_t-1進行膨脹，Y_t-1表示t-1次的迭代結果，Y_t包含所有的連通分量，t代表迭代次數，當Y_t＝Y_t-1時，迭代結束，

根據Y_t中每個連通分量的面積area_i計算空洞區域的離散程度，記為A：

其中,AR是Y_t中連通區域的個數，A是空洞的離散程度的質量分數，area_i代表每個連通區域的面積，代表合成圖像中所有連通區域的平均值,公式如下：

根據Y_t中每個連通分量的面積area_i計算空洞區域的面積比重，記為B：

其中，B是空洞面積的比重，M*N是整個圖像的面積，M和N分別代表圖像的長和寬，

將A和B兩部分匯總，得到空洞質量評估分數Q₁：

其中，Q₁是空洞質量評估分數；

4)對基準圖和虛擬視圖進行直方圖規定化處理:

jf(x,y)＝U(f(x,y))

其中，j(x,y)為對基準圖gc(x,y)處理后的圖像，jf(x,y)為對失真圖f(x,y)處理后的圖像，U()表示進行直方圖規定化處理，k表示待處理圖像的灰度，HUI_j為灰度級，L為灰度級的數量，M和N分別是圖像的長和寬；

分通道進行差分運算提取基準圖和虛擬視圖之間的輪廓差異：

p(x,y)＝|jf(x,y)-j(x,y)|

其中，p(x,y)記錄了輪廓的差異；

利用閾值處理法來消除p(x,y)中的噪聲，以增強輪廓擴增區域查找的準確性：

其中，yv為差分圖像二值化時設定的閾值，根據經驗所得設置，q(x,y)為去除噪聲后的圖像，x,y為像素點的橫縱坐標；

5)為避免重復計算空洞，將步驟2)中獲得的空洞圖和差分后的圖像異或處理，將空洞剔除，提取出輪廓擴增區域：

z(x,y)＝q(x,y)⊙h(x,y)

其中⊙是異或操作，z(x,y)是提取出輪廓擴增區域的圖像；

6)根據提取的輪廓擴增區域的面積，設計輪廓擴增區域質量評估器，對輪廓擴增區域進行評估：

Q₂是輪廓擴增區域的質量評估分數，V是通道個數，S_i代表失真圖像的失真區域的面積；

7)對步驟3和步驟6計算兩個質量分數池化，對整個DIBR合成圖像的進行整體評分：

Q＝α*Q₁+β*Q₂

其中α和β均為平衡參數，用來平衡Q₁和Q₂的貢獻率，設置為α＝0.0396，β＝0.9604。