[發明專利]一種基于塊匹配視差估計的中間視圖合成方法

無效

• 申請號: 201110207606.9
• 申請日: 2011-07-25
• 公開（公告）號: CN102254348A
• 公開（公告）日: 2011-11-23
• 發明（設計）人: 祝世平;于洋
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/00;H04N13/00
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 李新華;顧煒

技術領域

本發明涉及一種多目數字圖像處理方法，特別涉及一種基于圖像的虛擬視點繪制方法。

背景技術

視頻處理、傳輸與顯示技術經歷了從黑白到彩色，從模擬到數字，從標清到高清等多次變革，而下一代變革的目標，則將是三維立體視頻顯示系統。目前已經得到普及的二維視頻平面顯示系統由于無法表達自然場景中物體的深度信息，使用戶在觀賞時缺乏立體感，觀賞到的也與自然場景不一致，存在著丟失第三維信息造成的失真。因此，得到用戶所要求視點視圖的自由視點顯示結構，成為二維向三維變革的重要基礎。

為了使用戶可以自主選擇視點，視圖采集系統中的攝像機的數量應盡可能多，但攝像機組能提供的視點信息是有限的，離散的，并且是固定的，無法滿足用戶切換視點的多變性，所以在客戶端進行虛擬視點的繪制是非常必要的。本發明研究的就是一種新的虛擬視點繪制方法，通過對已有視點的分析，合成用戶所要觀察的視點。

虛擬視點繪制技術作為多媒體領域一項非常重要的新興技術，已經為越來越多的科研單位和團體所重視，新的算法也相繼提出，虛擬繪制問題的解決方法正在逐步構成體系。虛擬視點繪制的算法目前可大致分為兩類，即基于模型的繪制(參見畢家瑜，張之江，董志華.多視點立體顯示系統建模及分析[J]光學技術.2009.35(4).575-583.)和基于圖像的繪制(參見安平，張倩，鞠芹，王賀，張兆楊.用于3DTV的圖像繪制技術[J]電視技術.2010.34(01)：49-51.)。其中，基于圖像的繪制方法由于具有真實感強，不需要復雜建模過程等優點，而優于基于模型的繪制方法，也因此基于圖像的繪制方法得到了更廣泛的應用和研究。

基于圖像的繪制方法可以根據采用場景幾何信息的比例的多少分為三類：完全不用幾何信息的方法，如光場法(參見Masaki?Kitahara，Hideaki?Kimata，Shinya?Shimizu，Kazuto?Kamikura，Yoshiyuki?Yashima.Progressive?Coding?of?Surface?Light?Fields?for?Efficient?Image?Based?Rendering[J].IEEE?Transactions?on?Circuits?and?Systems?for?Video?Technology.2007.17(11)：1549-1557.)、全景建模法(參見高輝，王煒，張茂軍.一種多視點全景圖像自動生成的新方法[J]系統仿真學報.2009.21(6)：1641-1646.)等；使用隱含集合信息的方法，如視圖插值法(參見Naho?Inamoto，Hideo?Saito.Virtual?Viewpoint?Replay?for?a?Soccer?Match?by?View?Interpolation?From?Multiple?Cameras[C].IEEETransactions?on?Multimedia.2007.9(6)：1155-1166.)、深度圖繪制法(參見Feng?Yamei，Li?Dongxiao，Luo?Kai，Zhang?Ming.Depth-Image?Based?View?Synthesis?for?Three-dimensional?Television[C].IEEE?Conference?on?Industrial?Electronics?and?Applications.2009：2428-2431.)等；使用明確幾何信息的方法，如紋理映射法(參見Haldun?M.Ozaktas·Levent?Onural(Eds.).Three-Dimensional?Television，Capture，Transmission，Display[M].Springer.2008.62-69.)等。

在諸多基于圖像的繪制方法中，完全不用幾何信息的方法雖然能夠較快重建視點，但真實感較差，數據量較大；基于深度圖的方法得到的虛擬視點視圖效果較好，但深度圖的獲取本身就是一項難以攻克的任務；基于紋理映射的方法算法難度過大，而且不適用于真實場景。由此可見，目前的虛擬視點繪制領域中，尚未出現一種能夠兼顧快速性、準確性和普遍適應性的繪制方法。

本發明使用更容易獲取的視差信息代替深度圖，采用雙向視差與圖像插值相結合的方案，能夠較好的克服這兩種算法單獨使用出現的缺點，在滿足運行時間較短的同時得到視覺效果令人滿意的虛擬視點視圖；并且可以一步合成可觀賞的虛擬視圖，而無需對初步合成的視圖進行補償和后處理，方法直接有效，運算效率高。

發明內容

本發明要解決的技術問題是：