[發明專利]一種應用于立體視頻切換幀的自適應錯誤隱藏方法

有效

• 申請號: 201510027456.1
• 申請日: 2015-01-20
• 公開（公告）號: CN104581185B
• 公開（公告）日: 2017-12-05
• 發明（設計）人: 王曉東;陳美子;章聯軍;葉慶衛;周宇;李少博
• 申請（專利權）人: 寧波大學
• 主分類號: H04N19/895
• 分類號: H04N19/895;H04N19/597;H04N13/00
• 代理公司: 寧波誠源專利事務所有限公司33102
• 代理人: 鄧青玲

技術領域

本發明主要涉及一種立體視頻錯誤隱藏技術，尤其是涉及一種應用于立體視頻切換幀的自適應錯誤隱藏方法。

背景技術

隨著多媒體技術和視頻系統的發展，立體視頻以其能提供更真實直觀的體驗而被廣泛應用于各種領域。而其相對于傳統單視點視頻，數據量大的特點導致在網絡傳輸時更易出現差錯，這一問題嚴重影響視頻傳輸質量的下降。如何高效地壓縮數據、有效傳輸圖像信息以及解碼端圖像質量的恢復成為立體視頻研究領域的熱點。目前，對于立體視頻數據量較大的問題，在視頻系統編碼端的處理通常是利用時間方向、空間方向以及視點間的相關性進行高效地視頻壓縮編碼，減少冗余信息，但這樣處理相應地會降低視頻傳輸過程中的容錯能力。在傳輸過程中，由于立體視頻流的碼率大、傳輸時間長、信道帶寬不足、網絡延遲等原因會出現數據包丟失或者部分比特出錯，這些傳輸差錯會降低視頻終端的質量。受立體視頻編碼結構的限制，視頻幀之間存在時間相關性、空間相關性以及視點間相關性，如果立體視頻序列的某一幀數據出現解碼錯誤，同一視點后續幀以及其他視點以出錯幀為參考的后續幀數據也會存在解碼錯誤，這種失真會在時間和空間上同時累積，嚴重損壞重建圖像的質量，對整個傳輸系統帶來嚴重影響。鑒于此，一種行之有效的錯誤隱藏方法來恢復立體視頻終端的質量非常必要。

在視頻解碼端，用錯誤隱藏方法恢復解碼端的視頻質量非常重要，尤其是在低碼率視頻流傳輸后。錯誤隱藏方法最早應用于單視點視頻解碼中，根據單通道的特點，錯誤隱藏分為空域錯誤隱藏、時域錯誤隱藏和混合時空域錯誤隱藏方法。隨著立體視頻的迅速發展，錯誤隱藏被用于處理立體視頻解碼端視頻數據恢復。大多數立體視頻錯誤隱藏方法，在單視點的基礎上，除了采用時域、空域、時空域混合錯誤隱藏外，還要考慮到視點之間的相關性，利用視差補償進行錯誤隱藏。通常情況下，立體視頻中錯誤隱藏分為兩大類，整幀丟失錯誤隱藏和部分宏塊丟失錯誤隱藏。對于整幀丟失的錯誤隱藏方法，由于一幀信息全部丟失，只能利用時間相關性和視點間相關性對當前幀進行預測，對整幀圖像丟失中的宏塊，通過視差矢量的時域相關性和運動矢量的視點間相關性對視頻丟失塊的信息進行恢復。而對部分宏塊丟失的情況，當一幀圖像中部分宏塊發生丟失時，不僅可用前一時刻參考幀和前一視點參考幀中相應位置的宏塊信息進行恢復，而且可用當前幀丟失宏塊周圍正確解碼的宏塊信息，在這些宏塊中利用邊界匹配法選擇最佳候選塊以達到最佳的錯誤隱藏效果。但是以上方法中，針對丟失宏塊信息數據如何恢復，僅考慮到不同區域運動特性和視點相關性，從宏塊級進行錯誤隱藏雖然效果好但是復雜度高，而且沒有考慮到復雜的運動或場景，一旦出現場景切換的立體視頻幀，能夠運用的時域和視差信息幾乎沒有，該如何進行錯誤隱藏成為研究難點。因此，研究一種用于立體視頻切換幀的自適應錯誤隱藏算法非常必要。

發明內容

本發明所要解決的技術問題是針對上述現有技術提供一種應用于立體視頻切換幀的自適應錯誤隱藏方法，其能夠針對有場景切換的立體視頻進行有效地錯誤隱藏，降低解碼端的復雜度，恢復立體視頻質量。

本發明解決上述技術問題所采用的技術方案為：一種應用于立體視頻切換幀的自適應錯誤隱藏方法，其特征在于：

對于立體視頻中發生有場景切換且存在有丟失宏塊的視頻幀采用如下方式進行錯誤隱藏：

對視頻幀中丟失宏塊中某一點的像素值通過以下公式進行插值恢復：

其中，f_i,j(t)表示第t時刻視頻幀內某一丟失宏塊中坐標位置為(i,j)的點的像素亮度值，f_T、f_B、f_L、f_R分別表示前述丟失宏塊上、下、左、右四個方向上的相鄰宏塊中與該丟失宏塊相關聯的四個邊界點的像素值，d_T、d_B、d_L、d_R分別表示對應上、下、左、右四個方向上的權重，而d_T、d_B、d_L、d_R則用待插值恢復點與四個邊界點之間的距離進行表征；

對于立體視頻中沒有發生有場景切換且存在有丟失宏塊的右視點視頻幀采用如下方式進行錯誤隱藏：

先判斷除第1視頻幀之外的有丟失宏塊的右視點視頻幀屬于相對運動幀還是屬于相對靜止幀，如果屬于相對運動幀，則采用下述步驟一所述的方法恢復丟失宏塊的右視點視頻幀中所有丟失宏塊的像素值；如果屬于相對靜止幀，則采用下述步驟二所述的方法恢復丟失宏塊的右視點視頻幀中所有宏塊的像素值；