[發明專利]一種全局視差估計方法和系統

有效

• 申請號: 201410604055.3
• 申請日: 2014-10-30
• 公開（公告）號: CN104408710A
• 公開（公告）日: 2015-03-11
• 發明（設計）人: 彭祎;王榮剛;王振宇;高文;董勝富;王文敏;趙洋
• 申請（專利權）人: 北京大學深圳研究生院
• 主分類號: G06T7/00
• 分類號: G06T7/00
• 代理公司: 深圳鼎合誠知識產權代理有限公司 44281
• 代理人: 郭燕;彭家恩

技術領域

本申請涉及立體匹配圖像處理領域，具體涉及一種全局視差估計方法和系統。

背景技術

在傳統視頻系統中，用戶只能被動的觀看由攝像機拍攝到的畫面，無法從其他視角觀看不同視點的畫面，而多視角視頻(Multi-View?Video)則允許用戶從多個視點進行觀看，增強了交互性及3D感官效果，在立體電視、視頻會議、自動導航、虛擬現實等領域有廣泛的應用前景。然而，更強的交互性及感官效果也同時增加了視頻的數據量，對視頻的存儲及傳輸等增加了負擔，如何解決此類問題已成為目前的研究熱點。

立體匹配，也稱視差估計，是根據前端攝像機獲取的多目圖像數據(一般為雙目)，估計出對應圖像中的像素點間的幾何關系。利用視差估計，可以由一個視點的信息及其深度(視差)信息得到對應視點的信息，從而減少了原始數據量，為多目視頻的傳輸及存儲提供了便利。

根據具體實現細節的不同，立體匹配方法可以大致分為局部立體匹配算法和全局立體匹配算法(可參見Scharstein?D,Szeliski?R.A?taxonomy?and?evaluation?of?dense?two-frame?stereo?correspondence?algorithms[J].International?journal?of?computer?vision,2002,47(1-3):7-42.)。局部立體匹配算法準確性不高，但速度較快，不利于實際應用；全局立體匹配算法是基于對全局的能量函數最優化得到視差結果，其準確性較高，但速度較慢，不過，已有一些改進的全局立體匹配算法產生了與局部立體匹配算法相當的速度，如快速置信傳播算法(可參見Pedro?F.Felzenszwalb,Daniel?P.Huttenlocher.Efficient?Belief?Propagation?for?Early?Vision.International?Journal?of?Computer?Vision?October?2006,Volume?70,Issue?1,pp?41-54)。

綜合上述敘述可知，立體匹配作為多視角視頻中的重要環節，已受到廣泛關注，并有大量的立體匹配算法涌現。然而，立體匹配尚存在很多問題，特別是正確性和穩定性，需要進一步提高。

發明內容

根據本申請的第一方面，本申請提供了一種全局視差估計方法，包括：

讀入第一視點圖像和第二視點圖像，第一視點圖像為從第一視點獲取的目標的圖像，第二視點圖像為從第二視點獲取的目標的圖像；

根據預設規則在第一視點圖像上選取采樣點；

在第一視點圖上依次選取像素點作為當前像素點，以當前像素點為原點，沿第一軸線正方向和負方向，以逐個像素點作為搜索點進行搜索，直到搜索到不滿足預設的約束條件的點時停止，并將搜索到的滿足所述約束條件的所有點作為第一匹配點；分別以各個第一匹配點為原點，沿第二軸線正方向和負方向，以逐個像素點作為搜索點進行探索，直到搜索到不滿足預設的約束條件的點時停止，并將搜索到的滿足所述約束條件的所有點作為第二匹配點；將第一匹配點和第二匹配點作為當前像素點的第一匹配空間；

以當前像素點為原點，沿第二軸線正方向和負方向，以逐個像素點作為搜索點進行搜索，直到搜索到不滿足預設的約束條件的點時停止，并將搜索到的滿足所述約束條件的所有點作為第三匹配點；分別以各個第三匹配點為原點，沿第一軸線正方向和負方向，以逐個像素點作為搜索點進行探索，直到搜索到不滿足預設的約束條件的點時停止，并將搜索到的滿足所述約束條件的所有點作為第四匹配點；將第三匹配點和第四匹配點作為當前像素點的第二匹配空間；

所述約束條件包括線性約束條件和基于采樣點的空間約束條件，所述線性約束條件為當前像素點與搜索點之間在顏色上的歐氏距離的約束，所述空間約束條件為搜索點與采樣點之間在顏色上的歐氏距離的約束，所述第一軸線與第二軸線相互垂直；

計算第一匹配空間內所有點的匹配代價之和，計算第二匹配空間內所有點的匹配代價之和；

根據第一匹配空間內所有點的匹配代價之和和第二匹配空間內所有點的匹配代價之和計算初始視差，并篩選得到可靠點；

對第一視點圖像和第二視點圖像進行圖像分塊；

基于所述圖像分塊，并根據所述可靠點的初始視差分別計算第一視點圖像和第二視點圖像內每個像素點的最終視差。

在一實施例中，所述約束條件為：