[發明專利]一種自適應加權立體匹配算法、立體顯示采集裝置及系統

有效

• 申請號: 201210023079.0
• 申請日: 2012-02-02
• 公開（公告）號: CN102572485A
• 公開（公告）日: 2012-07-11
• 發明（設計）人: 楊光臨;楊志超;王道憲
• 申請（專利權）人: 北京大學
• 主分類號: H04N13/00
• 分類號: H04N13/00;H04N13/02;H04N13/04
• 代理公司: 北京市商泰律師事務所 11255
• 代理人: 毛燕生

技術領域

本發明涉及圖像顯示技術領域，尤其涉及一種自適應加權立體匹配算法、立體顯示采集裝置及系統。

背景技術

普通的二維視頻圖像無法使得用戶從中獲得深度信息，且觀看者不能任意選擇所處的位置與觀看角度。相對于普通的二維視頻，三維視頻能夠使用戶自由選擇觀看的視點與視角，體驗三維立體視覺感知，三維視頻相關技術是近些年來的研究熱點和難點。圖1為裸視三維視頻系統基本架構，三維視頻系統指從三維視頻數據采集、處理、編碼、傳輸，到三維視圖生成、顯示的一個完整系統，涉及信號處理、視頻壓縮編碼、網絡通信、計算機圖形學、計算機視覺等多個研究領域。圖2為左圖像與視差圖像獨立編碼，圖3左圖像與視差圖聯合編碼，圖4傳輸層編碼方案，圖5裸視三維視頻顯示端方案設計。許多研究機構對三維視頻系統及相關技術進行了深入研究，主要包括三維視頻信息采集與處理，三維視頻信息編碼與傳輸，三維重建與顯示等方面。

著裸視三維顯示器的發展，尤其是以飛利浦公司開發的3D顯示器為代表的裸視三維顯示器的問世，以J.Congote，I.Barandiaran等人開發的裸視三維視頻系統及I.Feldmann，W.Waizenegger等人開發的交互式三維視頻會議系統為代表，國際上已有很多研究機構對基于裸視三維顯示器的三維視頻系統進行研究。此外，國內各高校與研究結構也對三維視頻系統進行了研究，但大都集中在各模塊關鍵技術的研究，對裸視三維視頻系統的研究幾乎是空白！在三維視頻信息數據采集模塊，通常使用不同空間排列方式的多攝像機陣列采集得到三維視頻信息，在使用多攝像機陣列時需對各攝像機進行標定與同步操作。為實現裸視三維視頻的顯示，可通過增加攝像機的數量來獲得多角度的三維視頻信息，但攝像機數量的增多使得信息量增大，會大大降低數據處理的速度，增加編碼及傳輸的數據量。針對此問題，采用立體匹配算法得到視差圖，將視差圖和參考圖像一起表征三維信息，從而大大減少處理傳輸的數據量，改善裸視三維視頻系統的運行時間。

視差圖的獲取采用立體匹配算法計算得到。立體匹配是指在立體圖像對中確定空間同一景物點在不同成像平面中像點的對應關系的過程，其實質上可以歸結為圖像特征之間的相似性評價問題。雙目立體視覺是基于視差原理，根據三角法原理進行三維信息的獲取。

立體匹配算法根據采用優化方法的不同，可以分為局部的立體匹配算法和全局的立體匹配算法；根據匹配基元的不同，立體匹配算法可以分為基于區域的匹配算法、基于特征的匹配算法和基于相位的匹配算法；根據匹配生成視差圖的不同，可以分為稀疏視差匹配算法和稠密的視差匹配算法。國內外的研究均是通過盡量建立能反映像素的真實視差值的能量函數進行估計視差值，采用不同的相似度度量函數以及使用不同的基元來進行匹配。

國際上主要是基于顏色分割進行全局立體匹配，在局部立體匹配方面，在聚合上采用了自適應的加權進行聚合，同時也采用多窗體、自適應支持窗體的匹配算法。國內主要是在基于特征的選擇上，以及在匹配的相似度的度量上進行研究，同時針對遮擋問題、弱紋理問題也進行了討論。其中以Jian?sun為代表的微軟研究院，在全局立體匹配算法和遮擋問題、弱紋理方面具有很深的研究。以國防科技大學文貢堅為代表的電子科學與工程技術學院ATR重點實驗室，他們主要是采用新的特征、新的匹配準則進行立體匹配，同時針對大遮擋匹配問題進行了處理和研究。

基于固定窗的方法是最基本的立體匹配方法，該方法的核心思想是計算以待匹配像素為中心的矩形窗相似度，將相關性最高的那個點對作為最佳的匹配。選擇窗口的大小為關鍵的問題，如果選擇大的窗口，那么低紋理區域的匹配精確率會增加，但邊緣處的視差就會模糊不清，如果選擇小的窗口，那么低紋理區域的匹配精確率就會下降。為解決窗口大小選擇的問題，可以采用各種優化策略進行處理，例如可變窗以及多重窗等。但基于固定窗的立體匹配方法，無論窗口如何選擇，窗口內的權值都是相等的，這樣導致所有的像素點的匹配窗口大小是相同的，在邊緣區域會出現誤匹配的幾率很大。

Yoon等人從人類視覺心理學出發，提出的一種自適應加權立體匹配算法，根據像素之間的位置和顏色差異對窗口內原始像素代價賦以不同的加權，然后再加以聚合，很多研究表明該算法是所有局部立體匹配算法中匹配效果最好的，且最后得到的結果可以和全局優化的結果相比。但自適應加權算法的運算速度比較慢，復雜度較高，加權的保存需要極大的存儲空間，這部分抵消了局部算法優越性。