[發明專利]立體視頻的采集系統及方法

有效

• 申請號: 201210025436.7
• 申請日: 2012-02-06
• 公開（公告）號: CN102572486A
• 公開（公告）日: 2012-07-11
• 發明（設計）人: 戴瓊海;楊明進;邵航
• 申請（專利權）人: 清華大學
• 主分類號: H04N13/00
• 分類號: H04N13/00;H04N13/02
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張大威

技術領域

本發明涉及計算機視覺技術領域，特別涉及一種立體視頻的采集系統及方法。

背景技術

立體視頻是描述三維世界的一種新型方式，不僅包含了傳統2D視頻的關于場景的表面信息，而且包含了與場景具體位置相關的三維(立體)信息。與傳統的2D視頻相比，立體視頻是一種更有效、更真實的表達方式，并逐漸應用到娛樂廣告、教育醫療等多個方面。近幾十年來，顯示器技術的成熟為立體產業的發展創造了條件，但立體片源的缺乏卻成為立體產業進一步發展的瓶頸。

作為立體片源獲取的重要方式，立體視頻采集技術已越來越受到人們的關注。立體采集系統主要分為雙目和多目采集系統。前者一般由兩個2D相機組成，同時拍攝左、右兩路視頻并經過分析和處理，通過兩視點立體顯示器顯示，可通過佩戴特殊的眼鏡觀看。后者是由多個2D相機按一定方式(例如線性、平面或環形等)排列而成，根據多相機拍攝的多方位場景圖像，能重建場景的3D圖像，并通過多視點自由立體顯示器進行顯示，可“裸眼”觀看。

為了能正確的生成立體視頻，兩種系統均需要對采集圖像進行處理，主要包括相機幾何標定、幾何校正及立體視圖合成等。其中，通過幾何標定，可獲得各相機的內參矩陣，外參矩陣，外參矩陣包括旋轉矩陣和平移向量；通過幾何校正，可將各視角的原始圖像校正到同一虛擬平面上，且空間點在各虛擬圖像上的投影點不存在垂直方向的像素偏移，從而更符合視覺感知；立體視圖合成需根據顯示器的顯示方式將各視角平面視圖的像素按規律重排，生成能在立體顯示器上正確觀看的立體視圖。

在對現有技術進行分析后，發現現有技術存在以下問題：(1)為了更好的采集立體視頻，通常需要對2D相機的高度、旋轉角度和間距等姿態進行手動調整，從而有助于達到更好的立體感知效果，而現有的雙目或多目采集系統或將2D相機集成于一個裝置之內，或僅能完成相機個別維度的調整，靈活性較差。(2)國內外的多目系統，多需連接多臺采集服務器，而服務器間的通信比較繁瑣和耗時，并且拍攝的視頻序列離線進行幾何校正。

發明內容

本發明的目的旨在至少解決上述技術缺陷之一。

為達到上述目的，本發明一方面提出一種立體視頻的采集系統，包括：采集設備，所述采集設備包括多個2D相機和多個姿態調整裝置，每個所述2D相機對應一個所述姿態調整裝置，多個所述2D相機線性排布，用于拍攝平面視頻圖像；微控制器，所述微控制器通過每個所述2D相機的通用輸入輸出口與所述采集設備相連，用于向多個所述2D相機發送脈沖信號以控制多個所述2D相機以預定的幀頻同步拍攝平面視頻圖像；采集服務器，所述采集服務器通過每個所述2D相機的數據口與所述采集設備相連，用于獲取多個所述2D相機拍攝的平面視頻圖像，并對多個所述2D相機進行幾何標定，及對多個所述2D相機拍攝的平面視頻圖像進行實時幾何校正和立體圖像合成；以及立體顯示設備，與所述采集服務器相連，用于接收所述采集服務器合成的立體圖像并進行立體顯示。

在本發明的一個實施例中，所述采集服務器包括：相機幾何標定模塊，用于標定每個所述2D相機的參數矩陣，其中，所述參數矩陣包括旋轉矩陣R_n、平移向量T_n和內參矩陣K_n；相機虛擬參數計算模塊，用于根據每個所述2D相機標定的參數矩陣獲得虛擬參數矩陣，其中，所述虛擬參數包括虛擬基線方向虛擬光心位置虛擬旋轉矩陣虛擬平移向量和虛擬內參矩陣像素對應表確定模塊，用于分別根據所述參數矩陣K_n，R_n，T_n和所述虛擬參數矩陣確定每個所述2D相機拍攝的平面視頻圖像像素點和校正后平面視頻圖像像素點成一一映射關系的像素對應表；實時幾何校正模塊，用于根據所述像素對應表分別對每個所述2D相機拍攝的平面視頻圖像進行實時幾何，獲得校正后的n視角平面視頻圖像，其中n為所述2D相機的個數；以及立體圖合成模塊，用于根據所述校正后的n視角平面視頻圖像合成立體圖像。

在本發明的一個實施例中，所述像素對應表確定模塊進一步用于：根據所述參數矩陣K_n，R_n，T_n和所述虛擬參數矩陣獲得多組空間點W在各視角n上的第一投影坐標和第二投影坐標根據多組所述第一投影坐標和第二投影坐標獲得透視變換矩陣H_n；根據所述透視變換矩陣H_n獲得每個所述2D相機拍攝的平面視頻圖像像素點和校正后平面視頻圖像像素點的成一一映射的像素對應表。