[發明專利]一種多視點視頻的處理方法

在審

• 申請號: 200810059283.1
• 申請日: 2008-01-16
• 公開（公告）號: CN101262606A
• 公開（公告）日: 2008-09-10
• 發明（設計）人: 邵楓;郁梅;蔣剛毅
• 申請（專利權）人: 寧波大學
• 主分類號: H04N7/32
• 分類號: H04N7/32;H04N11/04;H04N9/64
• 代理公司: 寧波海曙奧圣專利代理事務所
• 代理人: 程曉明

技術領域

本發明涉及一種視頻的處理方法，尤其是涉及一種多視點視頻的處理方法。

背景技術

在真實世界中，觀察者所看到的視覺內容取決于觀察者相對于被觀察對象的位置，觀察者可以自由地選擇各個不同的角度去觀察和分析事物。在傳統的視頻系統中，真實的場景相對于一個視點的畫面是由攝像師或導演選擇決定的，用戶只能被動地觀看攝像機在單一視點上所攝制的視頻圖像序列，而不能自由選擇其它視點來觀察真實場景。這些單方向上的視頻序列只能反映真實世界場景的一個側面。自由視點視頻系統可以使用戶自由地選擇視點去觀看真實世界場景中的一定范圍內的任意側面，被國際標準組織MPEG(Moving?Picture?Experts?Group，運動圖像專家組)稱為下一代視頻系統的發展方向。

多視點視頻技術是自由視點視頻技術中的一個核心環節，它能提供所拍攝場景的不同角度的視頻信息。圖1為多視點平行相機系統成像示意圖，其中n+1個相機(或攝像機)被平行地放置以拍攝多視點視頻。利用多視點視頻信號中多個視點的信息可以合成用戶所選擇的任意視點的視頻信息，達到自由切換任意視點視頻的目的。但是多視點視頻信號的數據量隨著視點數目的增加而成倍增加，因此需要相應的多視點視頻編碼壓縮技術來減少其龐大的數據量，以節省多視點視頻信號傳送的帶寬和存儲的空間。另一方面，由于在采集過程中各相機的場景光照、相機CCD噪聲、快門速度和曝光等要素不一致，會導致不同相機采集的視頻圖像的顏色值差別很大，降低了后續多視點視頻編碼的性能和虛擬視點繪制的質量。

針對上述存在的問題，目前提出了一種典型的多視點視頻的處理方法，如圖2所示，在服務端，首先對多個相機采集得到的多視點視頻進行顏色校正，然后對校正后的視頻進行多視點視頻編碼，編碼后的視頻通過網絡進行傳輸；在客戶端，對接收到的編碼后的視頻進行解碼，并在解碼的視點間繪制虛擬視點視頻圖像。

現有的多視點顏色校正方法通常在全局的圖像間或在圖像最相似的區域間建立顏色映射關系，區域間的顏色映射需要將目標圖像和源圖像進行聚類分割，在最相似的區域間建立顏色映射關系，并以此映射關系對源圖像進行校正。但這種顏色校正方法的精度較低。而目前，在現有的顏色校正過程中利用的前背景信息通常是采用視差估計或區域分割前背景分離手段來實現的，前背景分離的精度與視差估計或區域分割的計算能力有關，對于這兩種前背景分離方法來講，要提高精度需耗費大量的計算能力。

針對多視點視頻編碼，目前JVT(Joint?Video?Team，聯合視頻編碼組)開發的JMVM(Joint?Multiview?Video?Model，聯合多視點視頻模型)，推薦采用亮度補償方法。該方法通過對編碼宏塊加權預測來補償視差估計和補償預測殘差，從而來提高編碼壓縮效率，但采用這種方法，其解碼后的多視點視頻圖像的顏色仍然不能達到一致性，并且亮度補償對編碼性能的提高并不是很大。

發明內容

本發明所要解決的技術問題是提供一種能夠有效地保證解碼后的多視點視頻圖像的顏色一致性，同時提高多視點視頻的編碼性能的多視點視頻的處理方法。

本發明解決上述技術問題所采用的技術方案為：一種多視點視頻的處理方法，它的處理過程為：對由具有n+1個相機的多視點相機系統在同一時刻拍攝的多視點視頻在進行多視點視頻編碼處理過程中進行視頻顏色校正處理，再將處理后的多視點視頻通過網絡傳輸，最后在解碼的視點間繪制虛擬視點視頻圖像。

所述的在進行多視點視頻編碼處理過程中進行視頻顏色校正處理的具體步驟為：

(1)將由具有n+1個相機的多視點相機系統在同一時刻拍攝的多視點視頻，在時域上以幀組為編碼單元進行處理，根據設定的編碼預測結構，將一幀組內I幀所處的視點定義為參考視點，記為R，其他的視點定義為源視點，記為S；

(2)判斷需編碼的當前幀組是否為第一個幀組，如果是，則根據設定的編碼預測結構，對參考視點的參考視點視頻和源視點的源視點視頻在時域上和空域上進行編碼預測，并執行步驟(5)；否則，繼續執行；

(3)利用前一個幀組的參考視點和源視點的前背景分離信息，對當前幀組的源視點視頻進行顏色校正；

(4)根據設定的編碼預測結構，對參考視點視頻和顏色校正后的源視點視頻在時域和空域上進行編碼預測；

(5)根據當前幀組內的每幀中的每個宏塊采用的編碼模式信息，分別對參考視點和源視點進行前背景分離處理，得到當前幀組的參考視點和源視點的前背景分離信息；

(6)判斷當前幀組是否為最后一個幀組，如果是，則結束；否則，跳轉步驟(3)對下一個幀組進行處理。