[發明專利]一種基于結構相似度的立體視頻整幀丟失錯誤隱藏方法

有效

• 申請號: 201310074764.0
• 申請日: 2013-03-08
• 公開（公告）號: CN103167291A
• 公開（公告）日: 2013-06-19
• 發明（設計）人: 蔣剛毅;李曉丹;郁梅;李福翠;邵楓;彭宗舉;王曉東
• 申請（專利權）人: 寧波大學
• 主分類號: H04N7/68
• 分類號: H04N7/68;H04N13/00
• 代理公司: 寧波奧圣專利代理事務所(普通合伙) 33226
• 代理人: 周玨

技術領域

本發明涉及一種立體視頻錯誤隱藏方法，尤其是涉及一種基于結構相似度的立體視頻整幀丟失錯誤隱藏方法。

背景技術

立體視頻技術作為一種新的多媒體技術，其用來捕捉真實的世界場景，吸引了越來越多的注意力，可以廣泛應用于醫學、軍事、家庭等方面。立體視頻與單視點視頻相比，其需要傳輸更多的數據量，因此其必須采用高效的壓縮編碼方法進行有效壓縮。目前，立體視頻壓縮編碼方法普遍利用時間、空間相關性預測來減少時間域、空域以及視點域的冗余信息，使得視頻流對信道的抗誤碼能力下降，對信道失真越來越敏感。編碼在傳輸的過程中，由于信道噪聲和網絡擁塞，使得傳輸時很容易造成比特出錯或包丟失，最后導致解碼視頻質量下降，一旦出現差錯，如果不加以控制，則不僅會影響當前幀的正確解碼，而且由于立體視頻編碼采用運動估計、視差估計消除信息冗余，還會影響同一視點以及不同視點以出錯幀為參考的后續幀的正確解碼，因此必須采用一種行之有效的錯誤隱藏方法加以控制。

現有的立體視頻錯誤隱藏方法大多針對部分宏塊丟失的情況，當一幀圖像中部分宏塊發生丟失時，不僅可以使用丟失宏塊周圍正確解碼宏塊的信息，而且可以使用時域參考幀和視點間參考幀中相同位置的宏塊信息進行恢復，恢復的過程基本為將丟失宏塊的周圍宏塊和時域參考幀、視點間參考幀同一位置宏塊以及其周圍宏塊作為候選宏塊，選取其運動矢量/視差矢量作為候選矢量，通過邊界匹配準則或外邊界匹配準則尋找最佳矢量得到恢復宏塊，最后使用加權方法得到最終恢復宏塊。然而，對于整幀丟失的情況，由于當前丟失幀中沒有可用信息使用，因此只能采用時間參考幀或視點間參考幀中的有效信息進行恢復。現有的整幀丟失錯誤隱藏方法基本都為利用參考幀對丟失幀劃分區域，分別采用運動補償或視差補償進行恢復。但是，現有的整幀丟失錯誤隱藏方法沒有充分考慮人眼主觀感知，因此恢復得到的效果并不理想，仍需進一步改進。

發明內容

本發明所要解決的技術問題是提供一種基于結構相似度的立體視頻整幀丟失錯誤隱藏方法，其充分考慮了人眼對圖像結構相似度（structural?similarity，SSIM）的主觀感知，有效地提高了恢復質量。

本發明解決上述技術問題所采用的技術方案為：一種基于結構相似度的立體視頻整幀丟失錯誤隱藏方法，其特征在于包括以下步驟：

①假設立體視頻的右視點s_R中t時刻的圖像幀為丟失幀，并記為則：將立體視頻的右視點s_R中已經正確解碼的t-1時刻的圖像幀記為將立體視頻的右視點s_R中已經正確解碼的t-2時刻的圖像幀記為將立體視頻的左視點s_L中已經正確解碼的且與丟失幀對應時刻的圖像幀記為將立體視頻的左視點s_L中已經正確解碼的t-1時刻的圖像幀記為

②獲取中的每個宏塊的最佳運動矢量和最佳視差矢量，將中左上角像素點的坐標位置為(x,y)的宏塊的最佳運動矢量記為MV_xy，將MV_xy的水平分量記為MVX_xy，將MV_xy的垂直分量記為MVY_xy，將中左上角像素點的坐標位置為(x,y)的宏塊的最佳視差矢量記為DV_xy，將DV_xy的水平分量記為DVX_xy，將DV_xy的垂直分量記為DVY_xy，其中，1≤x≤(W-15),1≤y≤(H-15)，W表示立體視頻的左視點和右視點中的圖像幀的寬度，H表示立體視頻的左視點和右視點中的圖像幀的高度；

③計算中的每個像素點與中對應的最佳匹配像素點之間的時域結構相似度值，假設中坐標位置為(u,v)的像素點所在的宏塊的左上角像素點的坐標位置為(x,y)，則將中坐標位置為(u,v)的像素點與中對應的坐標位置為(u+MVX_xy,v+MVY_xy)的最佳匹配像素點之間的時域結構相似度值記為ssimt(u,v)，1≤u≤W,1≤v≤H；

計算中的每個像素點與中對應的最佳匹配像素點之間的視點間結構相似度值，假設中坐標位置為(u,v)的像素點所在的宏塊的左上角像素點的坐標位置為(x,y)，則將中坐標位置為(u,v)的像素點與中對應的坐標位置為(u+DVX_xy,v+DVY_xy)的最佳匹配像素點之間的視點間結構相似度值記為ssimm(u,v)；