[發(fā)明專利]一種基于深度信息的多視點(diǎn)立體視頻錯(cuò)誤隱藏方法

無效

• 申請(qǐng)?zhí)枺?/td>: 201110310777.4
• 申請(qǐng)日: 2011-10-14
• 公開（公告）號(hào): CN102510500A
• 公開（公告）日: 2012-06-20
• 發(fā)明（設(shè)計(jì)）人: 劉榮科;時(shí)琳;關(guān)博深
• 申請(qǐng)（專利權(quán)）人: 北京航空航天大學(xué)
• 主分類號(hào): H04N7/68
• 分類號(hào): H04N7/68;H04N7/26;H04N7/50;H04N13/00
• 代理公司: 北京永創(chuàng)新實(shí)專利事務(wù)所 11121
• 代理人: 官漢增

1.一種基于深度信息的多視點(diǎn)立體視頻錯(cuò)誤隱藏方法，其特征在于：包括以下幾個(gè)步驟：

步驟一：采用語(yǔ)法檢測(cè)和相關(guān)性檢測(cè)的兩步錯(cuò)誤檢測(cè)法檢測(cè)發(fā)生錯(cuò)誤宏塊的位置：

1.1：語(yǔ)法檢測(cè)過程：

1.1.1：判斷解碼器檢測(cè)視頻碼流是否滿足視頻編碼壓縮標(biāo)準(zhǔn)H.264的視頻碼流條件，當(dāng)前條帶中所有的宏塊的碼流全部滿足視頻碼流條件，則當(dāng)前條帶中所有的宏塊均正確，不存在錯(cuò)誤宏塊；當(dāng)解碼器檢測(cè)視頻碼流不滿足視頻碼流條件中任一個(gè)條件時(shí)，多視點(diǎn)立體視頻碼流中發(fā)生語(yǔ)法錯(cuò)誤，將當(dāng)前檢測(cè)到的錯(cuò)誤宏塊的錯(cuò)誤標(biāo)志位ei_flag由0設(shè)置為1，完成當(dāng)前條帶中錯(cuò)誤宏塊的查找，終止當(dāng)前條帶中宏塊的解碼；

1.1.2：判斷是否完成一幀圖像的中所有條帶的解碼，如果完成，則進(jìn)入步驟1.2，如果未完成，返回步驟1.1.1，從下一個(gè)條帶的第一個(gè)宏塊繼續(xù)解碼，直至完成對(duì)整幀圖像的所有條帶的解碼，找到所有條帶中存在的錯(cuò)誤宏塊；

1.2：相關(guān)性檢測(cè)過程：

對(duì)步驟1.1中檢測(cè)到的所有錯(cuò)誤宏塊所在的條帶依次進(jìn)行相關(guān)性檢測(cè)，從其中的第一個(gè)條帶的第一個(gè)宏塊開始進(jìn)行相關(guān)性檢測(cè)確定初始錯(cuò)誤宏塊：相關(guān)性檢測(cè)包括兩種邊界相關(guān)性檢測(cè)方法和幀間相關(guān)性檢測(cè)方法，對(duì)I幀的條帶中的宏塊和右視點(diǎn)第一個(gè)P幀的條帶中的宏塊采用邊界相關(guān)性檢測(cè)，對(duì)其余P幀采用幀間相關(guān)性檢測(cè)；

1.2.1：邊界相關(guān)性檢測(cè)方法：

邊界相關(guān)性為宏塊內(nèi)像素與其外部像素的相關(guān)性，通過邊界平均樣本差A(yù)IDB表示，M×M大小宏塊的邊界平均樣本差A(yù)IDB為：

AIDB=Σi=1M×k|Iiin-Iiout|M×k]]>

其中k為當(dāng)前待檢測(cè)宏塊的上下左右四個(gè)相鄰宏塊中可用的個(gè)數(shù)，M×M表示待檢測(cè)宏塊大?。缓头謩e表示當(dāng)前待檢測(cè)宏塊內(nèi)外部對(duì)應(yīng)位置像素值，i為整數(shù)，取值范圍是[1，M×k]；

選定亮度分量的邊界相關(guān)性門限thresholdAIDB_Y和色度分量的邊界相關(guān)性門限thresholdAIDB_U分別對(duì)像素的亮度分量和色度分量進(jìn)行檢測(cè)，亮度分量Y的邊界相關(guān)性為AIDB_Y，門限為thresholdAIDB_Y，色度分量U的邊界相關(guān)性為AIDB_U，門限為thresholdAIDB_U，當(dāng)AIDB_Y＞thresholdAIDB_Y或AIDB_U＞thresholdAIDB_U時(shí)，該宏塊是初始錯(cuò)誤宏塊，否則該宏塊為正確宏塊；

1.2.2：幀間相關(guān)性檢測(cè)方法：

幀間相關(guān)性為指時(shí)間域上或空間域上相鄰兩幀圖像相同位置像素的相關(guān)性，通過幀間平均樣本差A(yù)IDF表示，幀間相關(guān)性檢測(cè)分兩種：一種為左視點(diǎn)的幀間相關(guān)性，是當(dāng)前宏塊與前一時(shí)刻相同位置宏塊各像素的平均絕對(duì)差值，另一種為右視點(diǎn)的幀間相關(guān)性，是當(dāng)前宏塊與左視點(diǎn)同一時(shí)刻相同位置宏塊各像素的平均絕對(duì)差值；

M×M大小宏塊的幀間平均樣本差A(yù)IDF為

AIDF=1M×MΣy-0M-1Σx-0M-1|Icur_mb(x,y)-Ipre_mb(x,y)|]]>

其中，I^cur_mb(x，y)是當(dāng)前宏塊內(nèi)(x，y)位置處像素值，I^pre_mb(x，y)是相鄰幀中對(duì)應(yīng)宏塊內(nèi)(x，y)位置處像素值；

選定亮度分量Y的幀間相關(guān)性門限thresholdAIDF_Y和色度分量U的幀間相關(guān)性門限thresholdAIDF_U分別對(duì)像素的亮度分量和色度分量進(jìn)行檢測(cè)，亮度分量Y的幀間相關(guān)性為AIDF_Y，門限為thresholdAIDF_Y，色度分量U的幀間相關(guān)性為AIDF_U，門限為thresholdAIDF_U；當(dāng)AIDF?Y＞thresholdAIDF_Y或AIDF_U＞thresholdAIDF_U時(shí)認(rèn)為該宏塊是初始錯(cuò)誤宏塊，否則該宏塊為正確宏塊；

用相關(guān)性檢測(cè)法檢測(cè)到一個(gè)條帶中發(fā)生錯(cuò)誤的初始錯(cuò)誤宏塊的位置后，將宏塊所在條帶中錯(cuò)誤宏塊后面的宏塊也標(biāo)記為錯(cuò)誤宏塊；若步驟(2)的相關(guān)性檢測(cè)在各條帶中沒有找到初始錯(cuò)誤宏塊，則步驟(1)中得到的錯(cuò)誤宏塊為初始錯(cuò)誤宏塊，將該初始錯(cuò)誤宏塊后面的宏塊也標(biāo)記為錯(cuò)誤宏塊，完成一幀圖像所有錯(cuò)誤宏塊的錯(cuò)誤檢測(cè)；

步驟二：結(jié)合深度信息來估計(jì)發(fā)生錯(cuò)誤宏塊的編碼模式，選擇鄰近宏塊中深度與待重建的錯(cuò)誤宏塊深度最為接近的宏塊的編碼模式：

雙視加深度格式的立體視頻右視點(diǎn)中的宏塊采用三種模式編碼：幀內(nèi)預(yù)測(cè)編碼模式、運(yùn)動(dòng)預(yù)測(cè)編碼模式和視差預(yù)測(cè)編碼模式，將右視點(diǎn)中的錯(cuò)誤宏塊進(jìn)行拆分，拆分得到多個(gè)錯(cuò)誤子塊分別重建，拆分方法為4個(gè)8×8塊錯(cuò)誤子塊或16個(gè)4×4塊錯(cuò)誤子塊分別重建或以整宏塊不拆分形式進(jìn)行重建，將與待重建錯(cuò)誤子塊相鄰的正確宏塊進(jìn)行拆分，得到16個(gè)4×4塊正確子塊，待重建錯(cuò)誤子塊與錯(cuò)誤子塊相鄰的所有4×4塊正確子塊的編碼模式、參考幀、運(yùn)動(dòng)矢量或視差矢量相同或不相同；

若待重建錯(cuò)誤子塊相鄰的各個(gè)4×4塊正確子塊的編碼模式相同，則此錯(cuò)誤子塊的編碼模式與相鄰的4×4塊正確子塊的編碼模式相同，若與待重建錯(cuò)誤子塊相鄰的各個(gè)4×4塊正確子塊的編碼模式不完全相同，借助深度信息得到待重建錯(cuò)誤子塊的編碼模式，在立體視頻當(dāng)前解碼的彩色視頻圖的對(duì)應(yīng)深度圖中找到待重建錯(cuò)誤子塊及其相鄰各個(gè)4×4塊正確子塊的相同坐標(biāo)位置的對(duì)應(yīng)塊，分別計(jì)算深度圖中各個(gè)錯(cuò)誤子塊的對(duì)應(yīng)塊的灰度平均值以及深度圖中各個(gè)4×4塊正確子塊的對(duì)應(yīng)塊的灰度平均值，然后在與待重建錯(cuò)誤子塊所相鄰的正確子塊中，找到與待重建錯(cuò)誤子塊對(duì)應(yīng)塊灰度值最為接近的4×4塊正確子塊，將該4×4塊正確子塊的編碼模式作為待重建錯(cuò)誤子塊的估計(jì)編碼模式；

步驟三：重建錯(cuò)誤宏塊：

得到錯(cuò)誤宏塊的各錯(cuò)誤子塊的編碼模式后，利用相應(yīng)錯(cuò)誤隱藏方法對(duì)各錯(cuò)誤子塊分別進(jìn)行重建，如果待重建錯(cuò)誤子塊為幀內(nèi)編碼模式，則此錯(cuò)誤子塊由周圍正確宏塊加權(quán)插值重建；如果待重建錯(cuò)誤子塊為運(yùn)動(dòng)預(yù)測(cè)模式，則以相鄰4×4塊正確子塊的運(yùn)動(dòng)矢量MV為候選運(yùn)動(dòng)矢量，通過邊界匹配算法；如果待重建錯(cuò)誤子塊估計(jì)為視差預(yù)測(cè)模式，采用類似邊界匹配算法的方式重建，設(shè)置運(yùn)動(dòng)矢量為視差矢量，設(shè)置候選視差矢量為周圍臨近4×4塊正確子塊的視差矢量DV。