[發(fā)明專利]一種屏幕內(nèi)容圖像質(zhì)量評估方法

有效

• 申請?zhí)枺?/td>: 202110831904.9
• 申請日: 2021-07-22
• 公開（公告）號: CN113610862B
• 公開（公告）日: 2023-08-01
• 發(fā)明（設(shè)計）人: 王同罕;廖靜;何月順;周書民;徐洪珍;李祥;何劍鋒;賈惠珍;李廣
• 申請（專利權(quán)）人: 東華理工大學(xué)
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T7/136;G06N20/10
• 代理公司: 南昌卓爾精誠專利代理事務(wù)所(普通合伙) 36133
• 代理人: 賀楠

1.一種屏幕內(nèi)容圖像質(zhì)量評估方法，其特征在于，包括以下步驟：

(1)構(gòu)建屏幕內(nèi)容圖像數(shù)據(jù)庫；

(2)對屏幕內(nèi)容圖像執(zhí)行文本分割函數(shù)，將屏幕內(nèi)容圖像分割為文本區(qū)域和圖像區(qū)域；

(3)對圖像區(qū)域執(zhí)行圖像區(qū)域質(zhì)量評估函數(shù)，提取圖像區(qū)域的紋理特征和圖像結(jié)構(gòu)特征；

(4)對文本區(qū)域執(zhí)行文本區(qū)域質(zhì)量評估函數(shù)，提取文本區(qū)域的清晰度和文本結(jié)構(gòu)特征；

(5)隨機(jī)選取一千個屏幕內(nèi)容圖像數(shù)據(jù)庫的屏幕內(nèi)容圖像，將一千個屏幕內(nèi)容圖像的紋理特征、圖像結(jié)構(gòu)特征、清晰度、文本結(jié)構(gòu)特征和主觀質(zhì)量分?jǐn)?shù)輸入LIBSVM軟件中進(jìn)行訓(xùn)練，獲取質(zhì)量評估模型；

(6)輸入待評估的屏幕內(nèi)容圖像，經(jīng)過步驟(2)、(3)和(4)處理后，將所述待評估的屏幕內(nèi)容圖像的紋理特征、圖像結(jié)構(gòu)特征、清晰度、文本結(jié)構(gòu)特征和主觀質(zhì)量分?jǐn)?shù)輸入質(zhì)量評估模型中，獲取質(zhì)量分?jǐn)?shù)；

其中，所述步驟(2)具體包括以下步驟：首先，動態(tài)的設(shè)置第一閾值，通過找出所有最大穩(wěn)定極值區(qū)域，其中，Q_i表示第一閾值為i時的某一連通區(qū)域，Δ表示微小的第一閾值變化，v(i)為第一閾值是i時的區(qū)域Q_i的變化率，當(dāng)v_(i)小于給定第一閾值時認(rèn)為該區(qū)域Qi為最大穩(wěn)定極值區(qū)域；其次，設(shè)定與區(qū)域具有相同標(biāo)準(zhǔn)二階中心矩的橢圓的離心率的第二閾值、歐拉數(shù)的第三閾值、區(qū)域中像素數(shù)與邊界框中總像素的比率的第四閾值和第五閾值、凸包中區(qū)域內(nèi)像素所占的比例的第六閾值，計算最大穩(wěn)定極值區(qū)域的與區(qū)域具有相同標(biāo)準(zhǔn)二階中心矩的橢圓的離心率、歐拉數(shù)、區(qū)域中像素數(shù)與邊界框中總像素的比率、凸包中區(qū)域內(nèi)像素所占的比例，當(dāng)計算得出的與區(qū)域具有相同標(biāo)準(zhǔn)二階中心矩的橢圓的離心率大于第二與之、歐拉數(shù)小于第三閾值、區(qū)域中像素數(shù)與邊界框中總像素的比率在下于第四閾值或大于第五閾值、凸包中區(qū)域內(nèi)像素所占的比例限于第六閾值時，可確定第一文本區(qū)域；然后，設(shè)定筆畫寬度變化率的第七閾值，計算第一文本區(qū)域的筆畫寬度變化率，當(dāng)變化率大于第七閾值時，可確認(rèn)第二文本區(qū)域，最后，提取并合并所有最大穩(wěn)定極值區(qū)域的第二文本區(qū)域作為文本區(qū)域，將屏幕內(nèi)容圖像的剩余區(qū)域合并作為圖像區(qū)域；

所述步驟(3)具體包括以下步驟：

S1：提取圖像區(qū)域的紋理特征，首先，通過Scharr算子計算出圖像區(qū)域的梯度圖，并對梯度圖進(jìn)行歸一化：其中[]為取整運(yùn)算，g_max為原梯度值的最大值，L為歸一化后的最大灰度級數(shù)；接著，對圖像區(qū)域的灰度圖進(jìn)行歸一化：f_max是原灰度圖中的灰度最大值；然后，構(gòu)建灰度-梯度共生矩陣M，水平遞增為梯度值，垂直遞增為灰度值，原點(diǎn)位于矩陣的坐上頂點(diǎn)處；M定義為M(i，j)＝#{(m，n)|g(m，n)＝i，f(m，n)＝j(luò)，m＝0，1，2...M-1，n＝0，1，2...N-1}，其中M×N為梯度和灰度圖的大小，#{}表示為集合中元素的個數(shù)，最后，提取灰度-梯度共生矩陣的統(tǒng)計特征包括：梯度熵灰度熵能量灰度均值梯度均值梯度標(biāo)準(zhǔn)差灰度標(biāo)準(zhǔn)差作為圖像區(qū)域的紋理特征，其中，(i，j)出現(xiàn)的總次數(shù)歸一化為出現(xiàn)的概率P(i，j)；

S2：提取圖像區(qū)域的圖像結(jié)構(gòu)特征，首先，對圖像區(qū)域進(jìn)行分塊，分為大小相等的n×n個局部圖像塊，并對每個圖像塊進(jìn)行局部二維離散余弦變換，以得到DCT系數(shù)，接著使用廣義高斯分布模型對DCT系數(shù)進(jìn)行擬合，擬合后會得到圖像塊的形狀參數(shù)γ，將最低的10％的γ值的平均值作為第一結(jié)構(gòu)特征，所有γ值的均值作為第二結(jié)構(gòu)特征，然后，計算頻率變化系數(shù)其中σ|X|是塊的方差，μ|X|是塊的均值，取的最大的10％的均值作為第三結(jié)構(gòu)特征，以及將的均值作為第四結(jié)構(gòu)特征，之后，為從局部圖像塊中獲取方向信息，將DCT系數(shù)塊分為低、中、高3個頻帶，然后計算每個頻帶中的平均能量：其中n為正整數(shù)，σ_n為頻帶n的方差，計算子帶能量之比：取R_n的最高的10％的均值作為第五結(jié)構(gòu)特征，取R_n的均值作為第六結(jié)構(gòu)特征，最后，為了提取方向信息，根據(jù)徑向頻率變化的垂直方向沿3個方向?qū)CT系數(shù)分為3個部分，接著計算在3個方向的頻率變化系數(shù)計算的方差，取方差最高的10％均值作為第七結(jié)構(gòu)特征，以及將的方差的均值作為第八結(jié)構(gòu)特征。

2.根據(jù)權(quán)利要求1所述的一種屏幕內(nèi)容圖像質(zhì)量評估方法，其特征在于，所述步驟(4)具體包括以下步驟：

S1：提取文本區(qū)域的清晰度，首先，在x和y方向進(jìn)行濾波，并對濾波后的圖像比上濾波圖像中的最大值進(jìn)行歸一化操作，歸一化后的像素點(diǎn)值大于預(yù)先設(shè)定的閾值時，則該像素點(diǎn)作為可能的邊緣像素，接著分別在水平方向和垂直方向計算中值濾波圖像差的差ΔDoM，水平方向：ΔDoM_x(i，j)＝[I_M(i+2，j)-I_M(i，j)]-[I_M(i，j)-I_M(i-2，j)]，垂直方向：ΔDoM_y(i，j)＝[I_M(i，j+2)-I_M(i，j)]-[I_M(i，j)-I_M(i，j-2)]，其中，I_M(i，j)是中值濾波圖像在像素(i，j)處的灰度值，使用偏差為2的差異，在像素(i，j)處的x方向的清晰度定義為：在y方向的清晰度計算方式同理，其中，∑_{i-w≤k≤i-w}|ΔDoM_x(k，j)|表明在大小為2w+1的窗口上求和ΔDoM，對邊緣處的對比度進(jìn)行歸一化，∑_{i-w≤k≤i+w}|I(k，j)-I(k-1，j)|為在窗口大小為2w+1上的對比度，當(dāng)S_x(i，j)大于預(yù)設(shè)閾值時則(i，j)處的像素點(diǎn)為清晰的，最后，該區(qū)域的圖像的清晰度定義為：其中：#sharpPixels為清晰的像素點(diǎn)數(shù)，#edgePixels為邊緣像素點(diǎn)數(shù)；

S2：提取文本區(qū)域的文本結(jié)構(gòu)特征，首先，計算文本區(qū)域的梯度圖GM，圖像像素點(diǎn)(i，j)處的梯度計算如下：其中h代表梯度算子，代表卷積運(yùn)算；接著在梯度圖上計算旋轉(zhuǎn)不變均勻的局部二值模式LBP，其中，Δ表示統(tǒng)一度量，U代表相鄰像素數(shù)，S代表領(lǐng)域的半徑值，ρ定義為閾值函數(shù)，G_k，G_C表示為中心坐標(biāo)及其鄰域的GM值，接著計算GMLBP直方圖，觀察到GMLBP可以包含U+2個不同的模式，這些模式可以組合到直方圖的一個bin中，將U設(shè)置為8，因此直方圖共有10個bin，并在三個尺度下分別計算，所述三個尺度為原始圖像，下采樣因子為2采樣后的圖像，下采樣因子為4采樣后的圖像，因此共提取30個文本結(jié)構(gòu)特征。