[發明專利]一種基于區域差異的屏幕圖像質量評估方法

在審

• 申請號: 201910690700.0
• 申請日: 2019-07-29
• 公開（公告）號: CN110400307A
• 公開（公告）日: 2019-11-01
• 發明（設計）人: 楊環;李瑞東;潘振寬;黃寶香;侯國家
• 申請（專利權）人: 青島大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06F16/51
• 代理公司: 蘇州國卓知識產權代理有限公司 32331
• 代理人: 陸曉鷹

1.一種基于區域差異的屏幕圖像質量評估方法，其特征在于，包括：

S1：獲取參考屏幕圖像的數據庫，進行局部歸一化處理；

S2：計算S1中參考屏幕圖像的活躍度，并根據參考屏幕圖像活躍度的高低，生成區分文本區域和圖形區域的二值索引圖；

S3：根據S2中的二值索引圖將參考屏幕圖像分割成文本塊和圖形塊兩種類型的圖像塊；

S4:使用端到端卷積神經網絡，將S3中的若干圖像塊作為訓練集及驗證集訓練卷積神經網絡，其中端到端卷積神經網絡的輸入為圖像塊、輸出為預測的質量分數，卷積神經網絡經過若干圖像塊的訓練及驗證，得到一個穩定收斂的圖像塊質量分數預測模型，分別使用文本塊和圖形塊輸入到圖像塊質量分數預測模型中進行訓練，得到用于預測文本區域得分的文本卷積神經網絡模型和用于預測圖形區域得分的圖形卷積神經網絡模型；

S5：將待測試的失真屏幕圖像中的文本塊和圖形塊分別用其相對應的卷積神經網絡模型進行預測評估，得到每個圖像塊的質量分數，將原失真屏幕圖像中的每個像素點都以其所得的圖像塊的質量分數進行賦值，得到質量圖；

S6:根據屏幕圖像活躍度賦給失真屏幕圖像視覺差異區域不同的權重，再將S5中得到的質量圖進行加權融合，最終得到該失真屏幕圖像的預測得分。

2.根據權利要求1所述的一種基于區域差異的屏幕圖像質量評估方法，其特征在于，所述S1中進行局部歸一化處理采用的方法為：

其中i,j分別表示參考屏幕圖像的長寬索引，表示歸一化值，I(i,j)表示該像素點的灰度值，μ(i,j)表示局部均值，σ(i,j)為局部方差，C為常數。

3.根據權利要求1所述的一種基于區域差異的屏幕圖像質量評估方法，其特征在于，所述S2中計算參考屏幕圖像活躍度采用的方法為：

其中L(i,j)為參考屏幕圖像活躍度，ε為權重因子，E(i,j)表示像素與其左下方像素和右下方像素的差值平方和，F(i,j)表示像素水平方向相鄰的兩個像素和垂直方向相鄰的兩個像素的差值平方和。

4.根據權利要求3所述的一種基于區域差異的屏幕圖像質量評估方法，其特征在于，先以點為單位計算參考屏幕圖像的活躍度，再以非重疊的矩陣為單位計算參考屏幕圖像局部平均活躍度，根據參考屏幕圖像局部平均活躍度的高低分為兩類，再按照1或0保存，生成二值索引圖，其中參考屏幕圖像局部平均活躍度的計算方式為：

其中m和n分別代表非重疊的矩陣的長度和寬度，L(i,j)為像素點(i,j)的活躍度值。

5.根據權利要求1所述的一種基于區域差異的屏幕圖像質量評估方法，其特征在于，所述S4中的卷積神經網絡為六層神經網絡，具有四個隱藏層、一個輸入層和一個輸出層，所述四個隱藏層分別為卷積層、池化層、第一全連接層和第二全連接層。

6.根據權利要求5所述的一種基于區域差異的屏幕圖像質量評估方法，其特征在于，所述文本卷積神經網絡模型和圖形卷積神經網絡模型以圖像塊作為輸入，所述卷積層的輸出作為池化層的輸入，所述第一全連接層和第二全連接層均位于池化層之后，其中第一全連接層采用Relu激活函數，第二全連接層采用線性回歸得到圖像塊的預測分數。

7.根據權利要求1所述的一種基于區域差異的屏幕圖像質量評估方法，其特征在于，所述S6中根據屏幕圖像活躍度賦給屏幕圖像視覺差異區域不同的權重的方式如下：

8.根據權利要求7所述的一種基于區域差異的屏幕圖像質量評估方法，其特征在于，所述S6中加權融合的方法為：

其中M與N表示失真屏幕圖像的長度和寬度，W(i,j)表示權重圖，Q(i,j)表示質量圖，經過計算得到整個失真屏幕圖像的評估得分Score。