[發明專利]一種基于深度神經網絡的無參考立體圖像質量評價方法

有效

• 申請號: 201810375052.5
• 申請日: 2018-04-24
• 公開（公告）號: CN108391121B
• 公開（公告）日: 2020-10-27
• 發明（設計）人: 陳志波;周瑋;李衛平
• 申請（專利權）人: 中國科學技術大學
• 主分類號: H04N17/00
• 分類號: H04N17/00;H04N13/106;G06T7/00
• 代理公司: 北京凱特來知識產權代理有限公司 11260
• 代理人: 鄭立明;鄭哲

1.一種基于深度神經網絡的無參考立體圖像質量評價方法，其特征在于，考慮人眼視覺系統的多層結構中左右視之間融合和視差信息的交互原則，包括：

將組成所有失真立體圖像的左右視圖像分別劃分為不重疊失真圖像塊，獲得若干左右視失真圖像塊對；

將劃分獲得的左右視失真圖像塊對，對應輸入至預先構建的雙流輸入的交互式深度神經網絡中，進行網絡模型的訓練，通過回歸學習得到對應左右視失真圖像塊對的一維感知質量；

在進行失真立體圖像質量預測時，利用訓練好的網絡模型來預測每一左右視失真圖像塊對的一維感知質量，再平均每一失真立體圖像中所有左右視失真圖像塊對的一維感知質量，獲得每一失真立體圖像的一維感知質量；

其中，所述雙流輸入的交互式深度神經網絡包含兩個相同的子網絡，分別對應的輸入左、右視失真圖像塊；每一子網絡包括依次設置的第一卷積層、第一池化層、第二卷積層、第二池化層、三次卷積層、第三池化層，以及第一與第二全連接層；

所述雙流輸入的交互式深度神經網絡中，兩個子網絡的第二卷積層、三次卷積層中最后一個卷積層，以及第二全連接層對應的進行子網絡的交互連接；

其中，卷積層的交互是先將對應的左右視網絡的特征圖進行如下操作獲得融合圖像S⁺和差分圖像S^-，再連接融合圖像S⁺和差分圖像S^-：

S⁺＝F_l+F_r；

S^-＝F_l-F_r；

其中，F_l、F_r是左、右失真圖像塊對應的左、右視特征圖；

全連接層的交互是將各子網絡的第二全連接層進行連接。

2.根據權利要求1所述的一種基于深度神經網絡的無參考立體圖像質量評價方法，其特征在于，將失真立體圖像的質量作為其劃分后獲得的所有左右視失真圖像塊對的訓練樣本標簽值。

3.根據權利要求1所述的一種基于深度神經網絡的無參考立體圖像質量評價方法，其特征在于，

將劃分獲得的左右視失真圖像塊對，對應輸入至預先構建的雙流輸入的交互式深度神經網絡中進行前向傳播訓練，最后根據訓練樣本標簽計算歐幾里得損失值作為訓練過程的最小化目標函數：

其中，f(P_li,P_ri；w)表示在參數w下左右視失真圖像塊對(P_li,P_ri)的預測質量，w是該雙流輸入的交互式深度神經網絡的參數，需要進行不斷迭代更新，w'為更新后的網絡參數，F表示2范數，y_i是左右視失真圖像塊對(P_li,P_ri)對應的訓練樣本標簽值。

4.根據權利要求1所述的一種基于深度神經網絡的無參考立體圖像質量評價方法，其特征在于，平均每一失真立體圖像中所有左右視失真圖像塊對的質量，獲得每一失真立體圖像的質量的計算公式如下：

其中，f(P_li,P_ri；w')表示在參數w'下左右視失真圖像塊對(P_li,P_ri)的預測質量，p表示每一失真立體圖像中左右視失真圖像塊對的數量。