[發明專利]運動向量推斷方法、多視點視頻編碼方法、多視點視頻解碼方法、運動向量推斷裝置、多視點視頻編碼裝置、多視點視頻解碼裝置、運動向量推斷程序、多視點視頻編碼程序及多視點視頻解碼程序

在審

• 申請號: 201180010256.5
• 申請日: 2011-02-18
• 公開（公告）號: CN103609119A
• 公開（公告）日: 2014-02-26
• 發明（設計）人: 志水信哉;木全英明;松浦宣彥
• 申請（專利權）人: 日本電信電話株式會社
• 主分類號: H04N19/50
• 分類號: H04N19/50;H04N13/02
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 何欣亭;李浩

技術領域

本發明涉及運動向量推斷方法、多視點視頻編碼方法、多視點視頻解碼方法、運動向量推斷裝置、多視點視頻編碼裝置、多視點視頻解碼裝置、運動向量推斷程序、多視點視頻編碼程序及多視點視頻解碼程序。

本申請對2010年2月23日向日本申請的日本特愿2010－037434號主張優先權，并在此援引其內容。

背景技術

多視點動態圖像（多視點視頻）是指用多個相機拍攝同一景物（被寫體）和背景而獲得的動態圖像群。在一般的動態圖像編碼中，采用利用了動態圖像不同的時間的幀間存在的較高的相關的、運動補償預測，實現有效率的編碼。運動補償預測是H.264中所代表的近年動態圖像編碼方式的國際標準規格所采用的方法。即，運動補償預測是這樣的方法：在編碼對象幀和已經編碼完畢的參考幀之間對景物的運動進行補償而生成圖像，在該生成的圖像和編碼對象幀之間取得幀間差分，僅對其差分信號進行編碼。

在多視點動態圖像編碼中，不僅在不同的時間的幀間存在高的相關，而且在不同的視點的幀間也存在高的相關。因此，采用的是在不補償運動而補償視點間的視差而生成的圖像（幀）和編碼對象幀之間取得幀間差分，僅對差分信號進行編碼的稱為視差補償預測的方法。視差補償預測作為H.264?Annex.H而被采用于國際標準規格（H.264的詳細內容，例如，參考非專利文獻1）。

這里所采用的視差是指在以不同的位置配置的相機的圖像平面上，景物所投影的位置之差。在視差補償預測中，以二維向量體現它并進行編碼。如圖20所示，由于視差是依賴于相機和景物的從相機起的位置（深度）而產生的信息，所以存在利用該原理的稱為視點合成預測（視點插值預測）的方式。

視點合成預測（視點插值預測）是這樣的方式：根據相機、景物的三維的位置關系，利用已經結束處理而得到解碼結果的多視點視頻的一部分，將合成（插值）針對進行編碼或解碼處理的別的視點的幀而得到的圖像，用作為預測圖像（例如，參考非專利文獻2）。

為了體現景物的三維的位置，往往采用按每個像素體現從相機到景物為止的距離（深度）的深度圖（map）（有距離圖像、視差圖像、稱為視差圖（disparity?map）的部分）。除了深度圖以外，能夠采用景物的多邊形（polygon）信息或景物空間的體單元（voxel）信息。

再者，取得深度圖的方法可以大致分為：利用紅外線脈沖等來進行測定，從而生成深度圖的方法；以及基于相同的景物被照到多視點視頻上這一點利用三角測量的原理推斷深度，在此基礎上生成深度圖的方法。使用以哪種方法得到的深度圖，在視點合成預測中并不是大的問題。此外，只要能得到深度圖，在哪里推斷也不是大的問題。

但是，在進行預測編碼的情況下，一般而言，在編碼側采用的深度圖和解碼側采用的深度圖不一致的情況下，會產生稱為漂移（drift）的編碼失真。因此，采用將在編碼側采用的深度圖向解碼側傳送或在編碼側和解碼側采用完全相同的數據和手法推斷深度圖的方法。

非專利文獻

非專利文獻1：Rec.?ITU－T?H.264?“Advanced?video?coding?for?generic?audiovisual?services,?”?March?2009；

非專利文獻2：S.?Shimizu,?M.?Kitahara,?H.?Kimata,?K.?Kamikura,?and?Y.?Yashima,?“View?Scalable?Multiview?Video?Coding?Using?3－D?Warping?with?Depth?Map,?”?IEEE?Transactions?on?Circuits?and?System?for?Video?Technology,?Vol.?17,?No.?11,?pp.?1485－1495,?November,?2007。

發明內容

在上述現有技術中，通過利用視差補償預測、視點合成預測，能夠消除相機間的視頻信號的冗長性。因此，與獨立對各相機拍攝的視頻進行編碼的情況相比，能夠高效率地對多視點視頻進行壓縮編碼。

但是，在多視點視頻中，同時存在相機間相關和時間相關這兩方面。因此，在僅用視差補償預測、視點合成預測的情況下，利用時間相關無法消除時間上的冗長性，所以無法實現有效率的編碼。

在非專利文獻1中，按每個塊導入運動補償預測和視差補償預測的適應選擇，從而能夠利用相機間相關和時間相關這兩方面。通過采用該方法，與只使用哪一個相關的情況相比能夠實現有效率的編碼。