[發明專利]一種屏幕內容圖像質量評估方法

有效

• 申請號: 202110831904.9
• 申請日: 2021-07-22
• 公開（公告）號: CN113610862B
• 公開（公告）日: 2023-08-01
• 發明（設計）人: 王同罕;廖靜;何月順;周書民;徐洪珍;李祥;何劍鋒;賈惠珍;李廣
• 申請（專利權）人: 東華理工大學
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T7/136;G06N20/10
• 代理公司: 南昌卓爾精誠專利代理事務所(普通合伙) 36133
• 代理人: 賀楠

本發明涉及圖像處理技術領域，公開了一種屏幕內容圖像質量評估方法，包括以下步驟：將屏幕內容圖像分割為文本區域和圖像區域；提取圖像區域的紋理特征和圖像結構特征；提取文本區域的清晰度和文本結構特征；將屏幕內容圖像的紋理特征、圖像結構特征、清晰度、文本結構特征和主觀質量分數輸入LIBSVM軟件中進行訓練，獲取質量評估模型；輸入待評估的屏幕內容圖像，經過處理后，輸入質量評估模型中，獲取質量分數。本發明可以感知圖像的好壞程度，并且能夠根據圖像的質量分數可以動態的檢測和調節圖像處理系統輸出優質圖像，為實時客戶端通信系統的參數優化提供更加有效的依據。

技術領域

本發明涉及圖像處理技術領域，尤其涉及一種屏幕內容圖像質量評估方法。

背景技術

目前，隨著互聯網與多媒體技術的發展，實時圖像通信系統和屏幕分享技術也越來越成熟，因此在互聯網上充斥著大量的屏幕內容圖像，如何對這些圖像進行質量評價已成為一個棘手的問題。屏幕內容圖像的質量評價在圖像通信傳輸以及實時多客戶端通信系統中發揮著巨大的作用，通過評價算法能夠得到當前圖像的質量進而優化圖像傳輸系統的各項參數以提升性能。屏幕內容圖像的評價方法為了能夠與人類的視覺感知效果更加一致，要對圖像提取與質量相關的特征進行評價。圖像的特征提取方法主要分為兩類，一類是傳統的手工提取，人們根據先驗知識提取圖像中若干特征(如自然場景統計、邊緣結構特征等)進行計算；另一類是基于深度學習的方法，通過訓練自動獲取有效的質量特征，進而得到質量分數。不同的特征提取方法在一定程度上決定算法的效率和時間復雜度。評價方法也根據是否存在原始的參考圖像分為三類：全參考、半參考、無參考質量評價方法。不同類型的評價方法會使得應用場景受到限制。屏幕內容圖像包含了文本和圖像區域，以往的評價方法大多是從圖像的整體區域入手，而未考慮不同區域對于人眼的視覺感受存在較大的差異。

現有以下幾種方法，第一種，基于圖形和文本區域的堆疊式自動編碼器(SAE，Stacked?AutoEncoders)方法，其為了將屏幕內容圖像分為文本和圖像區域，使用了基于卷積神經網絡(CNN，Convolutional?Neural?Networks)的快速文檔布局分析算法將圖像中的內容劃分為塊，輸入1-D?CNN模型，然后將其分類為文本、表格和圖像，接著分別從文本區域和圖像區域中提取質量感知特征，然后，通過無監督的方法針對從這兩個區域提取質量感知特征來訓練兩個不同的SAE，隨后，將特征及其相應的主觀分數輸入兩個回歸器進行訓練，每個回歸器可以獲得一個輸出預測分數，最后，通過加權模型由這兩個預測分數計算出測試SCI的最終感知質量分數。該方法中使用了CNN卷積模型來對圖像內容進行分類，這大大增加了算法的復雜度，并且人眼主要還是對于文本區域以及圖像區域比較感興趣。分成文本表格圖像幾類后又將它們合并為文本和圖像區域，使得以上分類步驟略顯多余。

第二種，CNN-SQE方法則通過將屏幕內容圖像的模糊分類分為純文本，計算機圖形/卡通和自然圖像區域并分別對不同區域執行質量估計以改進質量預測性能。主要通過三個階段進行操作：(1)圖像分割；(2)每個分割區域的質量評估；(3)質量組合。該方法分類為計算機圖形/卡通、純文本、和自然圖像區域，而屏幕內容圖像的所有內容都是由電腦數字化產生的，無需過多分類。

第三種，基于圖像結構特征和不確定性加權(SFUW,Structure?Features?AndUncertainty?Weighting)的方法，首先將屏幕內容圖像(SCI,Screen?Content?Image)劃分文本和圖像區域，接著提取文本區域的梯度信息用作結構特征以及亮度特征，并通過計算圖像塊的結構相似性來獲取文本區域的視覺質量，然后使用一種基于感知理論的不確定性加權方法，將文本和圖像區域的視覺質量有效融合起來獲得最終的質量分數。該方法需要獲取原始的參考圖像，但現實情況中的原始圖像難以獲取，算法存在局限性，而且權重如何設置還有待考量。