[發明專利]一種多視點深度視頻的編碼方法

無效

• 申請號: 200910154138.6
• 申請日: 2009-11-05
• 公開（公告）號: CN101729891A
• 公開（公告）日: 2010-06-09
• 發明（設計）人: 彭宗舉;蔣剛毅;郁梅
• 申請（專利權）人: 寧波大學
• 主分類號: H04N7/26
• 分類號: H04N7/26
• 代理公司: 寧波奧圣專利代理事務所(普通合伙) 33226
• 代理人: 程曉明

技術領域

本發明涉及一種視頻信號的處理方法，尤其是涉及一種多視點深度視頻的編碼方 法。

背景技術

隨著信息采集技術、通信技術、信息處理技術的快速發展，使得人們可以利用自由 視點視頻系統自由地選擇視點欣賞場景逐漸成為現實。自由視點視頻系統在影視娛樂、 教育、產品展示、醫療和安全監控等領域具有廣闊的應用前景。自由視點視頻是通過多 相機系統進行捕獲，各視點獨立地接受來自同一場景的特定攝像點的視頻，并通過虛擬 視點圖像繪制技術生成任意視點視頻，這樣人們就能欣賞到任意位置的視點圖像。

虛擬視點圖像繪制是自由視點視頻的關鍵技術之一。傳統的虛擬視點圖像是通過采 用兩路彩色視頻信號進行繪制的，這種虛擬視點圖像的繪制方法，需要在網絡上傳輸兩 路彩色視頻信號。為了減小傳輸數據量，目前主流的基于深度圖像的繪制方法采用參考 視點的彩色圖像及該視點的彩色圖像所對應的深度圖像繪制生成虛擬視點圖像，這種方 法只需要在網絡上傳輸一個視點的彩色視頻信號及對應的深度視頻信號，由于深度視頻 信號為單色視頻，并且更加平滑，所以只需要彩色視頻信號20％左右的數量就能獲得較 好的編碼質量，這樣能減輕網路傳輸壓力。但由于單路彩色視頻信號及對應深度視頻信 號僅允許在較小的范圍內進行交互式地自由切換視點，所以國際標準化組織JVT(Joint Video?Team)提出了采用多路彩色視頻信號及對應多路深度視頻信號(Multi-view?View plus?Depth，MVD)來擴展自由視點視頻的視頻切換范圍。

圖1給出了用多路彩色視頻信號及對應多路深度視頻信號實現的自由視點視頻系統 的基本結構框圖，其中包括采集、預處理、編碼、傳輸、解碼、虛擬視點圖像繪制和顯 示等環節。在圖1中，三個視點的彩色視頻和對應的深度視頻通過網絡傳輸、解碼就能 繪制出任意視點的視頻圖像。基于深度圖像的繪制方法由于將場景的深度信息引入到虛 擬視點圖像繪制中，從而大大減少了虛擬視點圖像繪制所需的參考視點的數目，這樣更 加適合于表示和實現自由視點視頻系統。

在多視點彩色視頻和對應深度視頻信號中，深度視頻代表的是對應彩色視頻場景到 攝像機成像平面的距離信息，它將實際距離值量化到[0，255]。深度視頻是多視點視頻 系統中非常重要的輔助信息，可以通過深度相機進行獲取，也可以通過深度估計程序計 算得到。由于深度相機價格昂貴，目前用于測試的深度視頻大多通過深度估計軟件而得 到。為了推廣應用和降低成本，用于虛擬視點圖像繪制的深度信息不適合在接收端通過 深度估計產生，需要在發送端通過采集或者估計然后編碼傳送給接收端，因此，深度視 頻的壓縮編碼對自由視點視頻系統來說是非常關鍵的。

目前，自由視點視頻系統框架中的多視點深度視頻信號編碼壓縮方法中采用了分層 B幀(HBP，Hierarchical?B?Pictures)預測編碼結構。HBP除了采用運動估計消除時間 上的冗余外，還采用了視差估計來消除視點間的相關性空間冗余，能夠對多視點深度視 頻信號進行較好的壓縮。HBP預測編碼結構如圖2所示，圖2中GOP(group?ofpictures， 圖像組)長度為8，S₀～S₇表示8個視點，T₀～T₇為GOP的8個時刻，箭頭表示幀間參考 關系，如幀S₁T₄參考了幀S₁T₀、幀S₁T₈、幀S₀T₄和幀S₂T₄，其中幀S₁T₀和幀S₁T₈為時 間參考幀，幀S₀T₄和幀S₂T₄為視點參考幀。