[發明專利]基于2D馬爾可夫和邊緣方向特性的屏幕內容索引圖預測方法

有效

• 申請號: 202010091952.4
• 申請日: 2020-02-13
• 公開（公告）號: CN111294596B
• 公開（公告）日: 2023-04-14
• 發明（設計）人: 宋傳鳴;劉定坤;劉丹;王相海
• 申請（專利權）人: 遼寧師范大學
• 主分類號: H04N19/149
• 分類號: H04N19/149;H04N19/14;H04N19/159;H04N19/182
• 代理公司: 大連非凡專利事務所 21220
• 代理人: 閃紅霞

本發明公開一種基于2D馬爾可夫和邊緣方向特性的屏幕內容索引圖預測方法，根據待預測像素沿著邊緣方向的線性相關性，建立了2D馬爾可夫模型，并利用待預測像素周圍、因果鄰域內的4個像素，對待預測像素的索引值進行預測；其次，將0^。~180^。區間均勻劃分為8個方向區間，再利用Bresenham直線光柵化算法設計了8個大小為4×4的方向模板，從而根據視頻關鍵幀的主要邊緣方向分布，自適應地為待預測像素選取4個因果預測像素；最后，采用最小二乘法為每個方向模板計算出一組1階2D自適應線性相關系數，進而實現沿著主要邊緣方向的、2D馬爾可夫模型的屏幕內容索引圖預測。

技術領域

本發明涉及屏幕內容視頻編碼領域，尤其是一種可有效抵抗邊緣過渡或連接區域的反走樣處理，準確性高、處理速度快及具備方向自適應能力的基于2D馬爾可夫和邊緣方向特性的屏幕內容索引圖預測方法。

背景技術

數字圖像與視頻正日益深刻地改變著人類信息通信和交互的方式。一方面，云存儲和移動通信的迅猛發展催生了虛擬桌面、桌面云、無線顯示和云游戲等諸多應用，均要求把計算機屏幕的顯示內容通過網絡鏈路傳輸到遠程客戶端，以實現屏幕協同共享。另一方面，具有寬動態范圍、廣色域特性的8K、10K超高清分辨率屏幕和3D虛擬現實正獲得市場主流地位，要求在設備之間或設備內部通過排線和接口電路以視頻方式實時、低延時地傳輸顯示流。由于屏幕內容圖像和視頻一般是各種應用軟件生成的，如辦公軟件、3D游戲、數字動畫、網絡瀏覽器等，它往往由文本、圖形和自然圖像等若干不同類型的區域混合而成，并且數據量巨大。若要在目前的寬帶網絡或串行總線上同步即時傳輸如此海量的數據，將屏幕內容視頻進行高效率壓縮來降低帶寬需求是一個必不可少的環節。不過，H.264/AVC、HEVC對屏幕內容中的線條、文字、圖形等非連續色調內容的壓縮效率遠未滿足應用需求且計算復雜度高。因此，復雜度適中、面向屏幕內容視頻的高效率編碼是視頻編碼領域極具挑戰性的最新研究課題之一，學者們將其稱為“屏幕內容視頻編碼”，簡稱“屏幕內容編碼SCC(Screen?Content?Coding)”。

為保證不連續色調區域的主觀保真度，通常采用無損或近無損編碼算法對屏幕內容視頻進行壓縮，目前大致提出了六類方法：基于調色板的編碼算法、基于模板匹配的編碼算法、基于塊匹配的編碼算法、基于字典的編碼算法、基于形狀表示的編碼算法和基于方向預測的編碼算法。其中，基于調色板的編碼算法選取若干種代表性的顏色作為基本顏色，分別為每種基本顏色指定一個索引值構成調色板，再將原圖像的每個灰度值用對應的索引值替代便形成一張索引圖，最后將熵編碼后的調色板和索引圖傳輸至解碼端；基于模板匹配的編碼算法利用待編碼像素塊的某個鄰域的已編碼像素集合構成一個模板，然后利用該模板在已編碼的區域中搜索與待編碼塊最相似的1個或多個塊，最后用最佳匹配塊或多個相似塊的均值作為待編碼塊的預測來降低其非局部信息冗余；基于塊匹配的編碼算法類似于傳統的幀間運動估計，又稱為“幀內塊拷貝”，在當前幀的已編碼區域搜索與待編碼單元相似的塊，再將兩個塊的距離及預測誤差進行編碼；基于字典的編碼算法利用待編碼像素所在的一個1D或2D的連續像素串作為模板，該像素串在空間域上可組織成任意形狀，再在已編碼區域中搜索與其最匹配的像素串，進而對匹配像素串的距離和匹配串長度進行編碼；基于形狀表示的編碼算法認為任何一個復雜形狀都可以分解為孤立點、水平線、垂直線和矩形4種基本形狀，稱之為“形狀原語”，進而按照光柵掃描順序提取形狀原語并對其進行編碼；基于方向預測的編碼算法主要針對屏幕內容圖像包含大量銳利邊緣、局部方向性明顯的特點，以最優率失真模型為指導，采用中值預測、邊緣預測和幀內方向預測等模式進行預測編碼。在上述六類算法中，基于塊匹配的編碼算法和基于調色板的編碼算法是促使國際編碼標準HEVC-SCC產生性能增益的主要原因。然而，前者很難用固定形狀的像素集合實現對文本、圖表和圖標等內容的最佳匹配，計算量較大，并且傳統視頻編碼的運動估計為它提供了很好的參考，技術方法較成熟；后者的計算量則明顯低于幀內塊拷貝，能夠較好地滿足屏幕內容編碼對壓縮效率、實時性和復雜性的需求，且對運動文本和線條的編碼較為有效，成為目前HEVC-SCC標準中重要的空間域編碼技術。