[發(fā)明專利]基于2D馬爾可夫和邊緣方向特性的屏幕內(nèi)容索引圖預(yù)測方法

有效

• 申請?zhí)枺?/td>: 202010091952.4
• 申請日: 2020-02-13
• 公開（公告）號: CN111294596B
• 公開（公告）日: 2023-04-14
• 發(fā)明（設(shè)計）人: 宋傳鳴;劉定坤;劉丹;王相海
• 申請（專利權(quán)）人: 遼寧師范大學(xué)
• 主分類號: H04N19/149
• 分類號: H04N19/149;H04N19/14;H04N19/159;H04N19/182
• 代理公司: 大連非凡專利事務(wù)所 21220
• 代理人: 閃紅霞

1.一種基于2D馬爾可夫和邊緣方向特性的屏幕內(nèi)容索引圖預(yù)測方法，其特征在于按照如下步驟進行：

步驟1.輸入一段待處理的屏幕內(nèi)容視頻V，令視頻V長度為F幀，并令f←1，ch←1；

步驟2.提取視頻V的第f幀、第ch個顏色分量；

步驟3.計算第f幀、第ch個顏色分量的索引圖；

步驟3.1統(tǒng)計第f幀、第ch個顏色分量的像素值直方圖，并選取出現(xiàn)次數(shù)最多的4種像素值作為基色，令其為BC₀、BC₁、BC₂和BC₃；

步驟3.2按照光柵掃描順序，根據(jù)公式(1)～公式(2)將每個像素p量化為索引值Q(p)：

所述Q(p)表示像素p的索引值，I(p)表示像素p的像素值，j^*表示與像素值I(p)最接近的基色的下標(biāo)且j^*∈{0,1,2,3}，Δ₁表示預(yù)設(shè)的量化步長；

步驟4.若f％L＝1，則第f幀為關(guān)鍵幀并轉(zhuǎn)入步驟5，否則第f幀為非關(guān)鍵幀并轉(zhuǎn)入步驟7，所述％表示模運算，L表示預(yù)設(shè)的2D馬爾可夫模型的預(yù)測參數(shù)更新頻率且1≤L≤F；

步驟5.利用關(guān)鍵幀的第ch個顏色分量訓(xùn)練2D馬爾可夫模型的預(yù)測參數(shù)；

步驟5.1計算關(guān)鍵幀的第ch個顏色分量中全部像素的平均索引值μ；

步驟5.2利用Sobel算子計算每個像素p處沿著水平方向的1階差分和沿著豎直方向的1階差分進而根據(jù)公式(3)計算每個像素p處的梯度方向角θ_p：

步驟5.3根據(jù)每個像素p的梯度方向角θ_p和公式(4)，計算像素p的主方向角

步驟5.4建立8個訓(xùn)練集C₁、C₂、C₃、C₄、C₅、C₆、C₇、C₈，并初始化為空集；

步驟5.5將關(guān)鍵幀的第ch個顏色分量劃分為若干個大小為4×4像素的、不重疊的子塊，對于每個子塊B，執(zhí)行下述步驟5.5.1～步驟5.5.2，從而根據(jù)主要邊緣方向?qū)⑵浼尤胂鄳?yīng)的訓(xùn)練集，實現(xiàn)子塊的分類；

步驟5.5.1統(tǒng)計子塊B中所有像素的主方向角的直方圖，并選取出現(xiàn)次數(shù)最多的主方向角作為子塊B的主要邊緣方向θ_texture；

步驟5.5.2若θ_texture＝π/8，則將子塊B加入訓(xùn)練集C₁；若θ_texture＝π/4，則將子塊B加入訓(xùn)練集C₂；若θ_texture＝3π/8，則將子塊B加入訓(xùn)練集C₃；若θ_texture＝π/2，則將子塊B加入訓(xùn)練集C₄；若θ_texture＝5π/8，則將子塊B加入訓(xùn)練集C₅；若θ_texture＝3π/4，則將子塊B加入訓(xùn)練集C₆；若θ_texture＝7π/8，則將子塊B加入訓(xùn)練集C₇；若θ_texture＝π，則將子塊B加入訓(xùn)練集C₈；

步驟5.6對于訓(xùn)練集C₁的第i₁個子塊B，將子塊B中每個像素的索引值減去μ，得到子塊B′，并根據(jù)公式(5)定義的模板T₁，從子塊B′中取出位于a、b、c、d、u處的索引值和組成第1類子塊的訓(xùn)練索引值集合，所述i₁∈{1,2,3,…,N₁}，N₁表示訓(xùn)練集C₁包含的子塊總數(shù)，和分別表示訓(xùn)練集C₁的第i₁個子塊B′中位于a、b、c、d、u處的索引值；

步驟5.7對于訓(xùn)練集C₂的第i₂個子塊B，將子塊B中每個像素的索引值減去μ，得到子塊B′，并根據(jù)公式(6)定義的模板T₂，從子塊B′中取出位于a、b、c、d、u處的索引值和組成第2類子塊的訓(xùn)練索引值集合，所述i₂∈{1,2,3,…,N₂}，N₂表示訓(xùn)練集C₂包含的子塊總數(shù)，和分別表示訓(xùn)練集C₂的第i₂個子塊B′中位于a、b、c、d、u處的索引值；

步驟5.8對于訓(xùn)練集C₃的第i₃個子塊B，將子塊B中每個像素的索引值減去μ，得到子塊B′，并根據(jù)公式(7)定義的模板T₃，從子塊B′中取出位于a、b、c、d、u處的索引值和組成第3類子塊的訓(xùn)練索引值集合，所述i₃∈{1,2,3,…,N₃}，N₃表示訓(xùn)練集C₃包含的子塊總數(shù)，和分別表示訓(xùn)練集C₃的第i₃個子塊B′中位于a、b、c、d、u處的索引值；

步驟5.9對于訓(xùn)練集C₄的第i₄個子塊B，將子塊B中每個像素的索引值減去μ，得到子塊B′，并根據(jù)公式(8)定義的模板T₄，從子塊B′中取出位于a、b、c、d、u處的索引值和組成第4類子塊的訓(xùn)練索引值集合，所述i₄∈{1,2,3,…,N₄}，N₄表示訓(xùn)練集C₄包含的子塊總數(shù)，和分別表示訓(xùn)練集C₄的第i₄個子塊B′中位于a、b、c、d、u處的索引值；

步驟5.10對于訓(xùn)練集C₅的第i₅個子塊B，將子塊B中每個像素的索引值減去μ，得到子塊B′，并根據(jù)公式(9)定義的模板T₅，從子塊B′中取出位于a、b、c、d、u處的索引值和組成第5類子塊的訓(xùn)練索引值集合，所述i₅∈{1,2,3,…,N₅}，N₅表示訓(xùn)練集C₅包含的子塊總數(shù)，和分別表示訓(xùn)練集C₅的第i₅個子塊B′中位于a、b、c、d、u處的索引值；

步驟5.11對于訓(xùn)練集C₆的第i₆個子塊B，將子塊B中每個像素的索引值減去μ，得到子塊B′，并根據(jù)公式(10)定義的模板T₆，從子塊B′中取出位于a、b、c、d、u處的索引值和組成第6類子塊的訓(xùn)練索引值集合，所述i₆∈{1,2,3,…,N₆}，N₆表示訓(xùn)練集C₆包含的子塊總數(shù)，和分別表示訓(xùn)練集C₆的第i₆個子塊B′中位于a、b、c、d、u處的索引值；

步驟5.12對于訓(xùn)練集C₇的第i₇個子塊B，將子塊B中每個像素的索引值減去μ，得到子塊B′，并根據(jù)公式(11)定義的模板T₇，從子塊B′中取出位于a、b、c、d、u處的索引值和組成第7類子塊的訓(xùn)練索引值集合，所述i₇∈{1,2,3,…,N₇}，N₇表示訓(xùn)練集C₇包含的子塊總數(shù)，和分別表示訓(xùn)練集C₇的第i₇個子塊B′中位于a、b、c、d、u處的索引值；

步驟5.13對于訓(xùn)練集C₈的第i₈個子塊B，將子塊B中每個像素的索引值減去μ，得到子塊B′，并根據(jù)公式(12)定義的模板T₈，從子塊B′中取出位于a、b、c、d、u處的索引值和組成第8類子塊的訓(xùn)練索引值集合，所述i₈∈{1,2,3,…,N₈}，N₈表示訓(xùn)練集C₈包含的子塊總數(shù)，和分別表示訓(xùn)練集C₈的第i₈個子塊B′中位于a、b、c、d、u處的索引值；

步驟5.14利用每類子塊的訓(xùn)練索引值集合和公式(13)的定義，為每類子塊計算一組2D馬爾可夫模型的預(yù)測參數(shù)；

所述ρ_1,k、ρ_2,k、ρ_3,k、ρ_4,k表示第k類子塊的2D馬爾可夫模型的預(yù)測參數(shù)且k∈{1,2,3,4,5,6,7,8}，和分別表示訓(xùn)練集C_k的第i_k個子塊B′中位于a、b、c、d、u處的索引值，N_k表示訓(xùn)練集C_k包含的子塊總數(shù)；

步驟6.按照光柵掃描順序，對關(guān)鍵幀的第ch個顏色分量中每個像素p的索引值Q(p)進行預(yù)測；

步驟6.1對于待預(yù)測的索引值Q(p)，采用二次方向預(yù)測方法TDP進行預(yù)測，令其預(yù)測值為P(p)；

步驟6.2輸出預(yù)測誤差Q(p)-P(p)，若關(guān)鍵幀的所有索引值都已處理完畢，則轉(zhuǎn)入步驟8；否則，返回步驟6.1處理下一個像素的索引值；

步驟7.計算非關(guān)鍵幀的第ch個顏色分量中全部像素的平均索引值μ_n，并按照光柵掃描順序，對每個像素p的索引值Q(p)進行預(yù)測；

步驟7.1對于像素p的索引值Q(p)，采用二次方向預(yù)測方法TDP進行預(yù)測，令其預(yù)測值為P(p)，若預(yù)測成功，則轉(zhuǎn)入步驟7.5；若像素p處于非關(guān)鍵幀的前3行或者前3列或者后3列，則轉(zhuǎn)入步驟7.5，否則轉(zhuǎn)入步驟7.2；

步驟7.2令像素p左側(cè)的相鄰像素為q，采用后向差分法，分別計算像素q的索引值Q(q)沿著水平方向的1階差分和沿著豎直方向的1階差分進而根據(jù)公式(3)的定義計算像素q處的梯度方向角θ_q；

步驟7.3根據(jù)像素q的梯度方向角θ_q和公式(4)的定義，計算像素q的主方向角并令像素p的主方向角

步驟7.4令采用第k類子塊的2D馬爾可夫模型和模板T_k對像素p的索引值Q(p)進行預(yù)測，所述T_k∈{T₁,T₂,T₃,T₄,T₅,T₆,T₇,T₈}；

步驟7.4.1將模板T_k的元素u與像素p對齊，從而以模板T_k作為掩膜，在像素p的大小為4×4的因果鄰域中，取出與模板T_k的元素a、b、c、d對應(yīng)的像素a′、b′、c′、d′，令其索引值分別為Q(a′)、Q(b′)、Q(c′)、Q(d′)；

步驟7.4.2根據(jù)公式(14)，計算索引值Q(p)的預(yù)測值P(p)：

步驟7.5輸出預(yù)測誤差Q(p)-P(p)，若當(dāng)前的非關(guān)鍵幀的全部索引值都已處理完畢，則轉(zhuǎn)入步驟8，否則返回步驟7.1處理下一個像素的索引值；

步驟8.令ch←ch+1，若ch3，則轉(zhuǎn)入步驟9，否則轉(zhuǎn)入步驟2；

步驟9.令f←f+1，ch←1，若f≤F，則轉(zhuǎn)入步驟2，否則算法結(jié)束。