[發明專利]一種屏幕內容圖像質量評估方法

有效

• 申請號: 202110831904.9
• 申請日: 2021-07-22
• 公開（公告）號: CN113610862B
• 公開（公告）日: 2023-08-01
• 發明（設計）人: 王同罕;廖靜;何月順;周書民;徐洪珍;李祥;何劍鋒;賈惠珍;李廣
• 申請（專利權）人: 東華理工大學
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T7/136;G06N20/10
• 代理公司: 南昌卓爾精誠專利代理事務所(普通合伙) 36133
• 代理人: 賀楠

1.一種屏幕內容圖像質量評估方法，其特征在于，包括以下步驟：

(1)構建屏幕內容圖像數據庫；

(2)對屏幕內容圖像執行文本分割函數，將屏幕內容圖像分割為文本區域和圖像區域；

(3)對圖像區域執行圖像區域質量評估函數，提取圖像區域的紋理特征和圖像結構特征；

(4)對文本區域執行文本區域質量評估函數，提取文本區域的清晰度和文本結構特征；

(5)隨機選取一千個屏幕內容圖像數據庫的屏幕內容圖像，將一千個屏幕內容圖像的紋理特征、圖像結構特征、清晰度、文本結構特征和主觀質量分數輸入LIBSVM軟件中進行訓練，獲取質量評估模型；

(6)輸入待評估的屏幕內容圖像，經過步驟(2)、(3)和(4)處理后，將所述待評估的屏幕內容圖像的紋理特征、圖像結構特征、清晰度、文本結構特征和主觀質量分數輸入質量評估模型中，獲取質量分數；

其中，所述步驟(2)具體包括以下步驟：首先，動態的設置第一閾值，通過找出所有最大穩定極值區域，其中，Q_i表示第一閾值為i時的某一連通區域，Δ表示微小的第一閾值變化，v(i)為第一閾值是i時的區域Q_i的變化率，當v_(i)小于給定第一閾值時認為該區域Qi為最大穩定極值區域；其次，設定與區域具有相同標準二階中心矩的橢圓的離心率的第二閾值、歐拉數的第三閾值、區域中像素數與邊界框中總像素的比率的第四閾值和第五閾值、凸包中區域內像素所占的比例的第六閾值，計算最大穩定極值區域的與區域具有相同標準二階中心矩的橢圓的離心率、歐拉數、區域中像素數與邊界框中總像素的比率、凸包中區域內像素所占的比例，當計算得出的與區域具有相同標準二階中心矩的橢圓的離心率大于第二與之、歐拉數小于第三閾值、區域中像素數與邊界框中總像素的比率在下于第四閾值或大于第五閾值、凸包中區域內像素所占的比例限于第六閾值時，可確定第一文本區域；然后，設定筆畫寬度變化率的第七閾值，計算第一文本區域的筆畫寬度變化率，當變化率大于第七閾值時，可確認第二文本區域，最后，提取并合并所有最大穩定極值區域的第二文本區域作為文本區域，將屏幕內容圖像的剩余區域合并作為圖像區域；

所述步驟(3)具體包括以下步驟：

S1：提取圖像區域的紋理特征，首先，通過Scharr算子計算出圖像區域的梯度圖，并對梯度圖進行歸一化：其中[]為取整運算，g_max為原梯度值的最大值，L為歸一化后的最大灰度級數；接著，對圖像區域的灰度圖進行歸一化：f_max是原灰度圖中的灰度最大值；然后，構建灰度-梯度共生矩陣M，水平遞增為梯度值，垂直遞增為灰度值，原點位于矩陣的坐上頂點處；M定義為M(i，j)＝#{(m，n)|g(m，n)＝i，f(m，n)＝j，m＝0，1，2...M-1，n＝0，1，2...N-1}，其中M×N為梯度和灰度圖的大小，#{}表示為集合中元素的個數，最后，提取灰度-梯度共生矩陣的統計特征包括：梯度熵灰度熵能量灰度均值梯度均值梯度標準差灰度標準差作為圖像區域的紋理特征，其中，(i，j)出現的總次數歸一化為出現的概率P(i，j)；

S2：提取圖像區域的圖像結構特征，首先，對圖像區域進行分塊，分為大小相等的n×n個局部圖像塊，并對每個圖像塊進行局部二維離散余弦變換，以得到DCT系數，接著使用廣義高斯分布模型對DCT系數進行擬合，擬合后會得到圖像塊的形狀參數γ，將最低的10％的γ值的平均值作為第一結構特征，所有γ值的均值作為第二結構特征，然后，計算頻率變化系數其中σ|X|是塊的方差，μ|X|是塊的均值，取的最大的10％的均值作為第三結構特征，以及將的均值作為第四結構特征，之后，為從局部圖像塊中獲取方向信息，將DCT系數塊分為低、中、高3個頻帶，然后計算每個頻帶中的平均能量：其中n為正整數，σ_n為頻帶n的方差，計算子帶能量之比：取R_n的最高的10％的均值作為第五結構特征，取R_n的均值作為第六結構特征，最后，為了提取方向信息，根據徑向頻率變化的垂直方向沿3個方向將DCT系數分為3個部分，接著計算在3個方向的頻率變化系數計算的方差，取方差最高的10％均值作為第七結構特征，以及將的方差的均值作為第八結構特征。

2.根據權利要求1所述的一種屏幕內容圖像質量評估方法，其特征在于，所述步驟(4)具體包括以下步驟：

S1：提取文本區域的清晰度，首先，在x和y方向進行濾波，并對濾波后的圖像比上濾波圖像中的最大值進行歸一化操作，歸一化后的像素點值大于預先設定的閾值時，則該像素點作為可能的邊緣像素，接著分別在水平方向和垂直方向計算中值濾波圖像差的差ΔDoM，水平方向：ΔDoM_x(i，j)＝[I_M(i+2，j)-I_M(i，j)]-[I_M(i，j)-I_M(i-2，j)]，垂直方向：ΔDoM_y(i，j)＝[I_M(i，j+2)-I_M(i，j)]-[I_M(i，j)-I_M(i，j-2)]，其中，I_M(i，j)是中值濾波圖像在像素(i，j)處的灰度值，使用偏差為2的差異，在像素(i，j)處的x方向的清晰度定義為：在y方向的清晰度計算方式同理，其中，∑_{i-w≤k≤i-w}|ΔDoM_x(k，j)|表明在大小為2w+1的窗口上求和ΔDoM，對邊緣處的對比度進行歸一化，∑_{i-w≤k≤i+w}|I(k，j)-I(k-1，j)|為在窗口大小為2w+1上的對比度，當S_x(i，j)大于預設閾值時則(i，j)處的像素點為清晰的，最后，該區域的圖像的清晰度定義為：其中：#sharpPixels為清晰的像素點數，#edgePixels為邊緣像素點數；

S2：提取文本區域的文本結構特征，首先，計算文本區域的梯度圖GM，圖像像素點(i，j)處的梯度計算如下：其中h代表梯度算子，代表卷積運算；接著在梯度圖上計算旋轉不變均勻的局部二值模式LBP，其中，Δ表示統一度量，U代表相鄰像素數，S代表領域的半徑值，ρ定義為閾值函數，G_k，G_C表示為中心坐標及其鄰域的GM值，接著計算GMLBP直方圖，觀察到GMLBP可以包含U+2個不同的模式，這些模式可以組合到直方圖的一個bin中，將U設置為8，因此直方圖共有10個bin，并在三個尺度下分別計算，所述三個尺度為原始圖像，下采樣因子為2采樣后的圖像，下采樣因子為4采樣后的圖像，因此共提取30個文本結構特征。