[發明專利]立體視頻采集系統

在審

• 申請號: 201710057657.5
• 申請日: 2017-01-26
• 公開（公告）號: CN106604016A
• 公開（公告）日: 2017-04-26
• 發明（設計）人: 王敏捷;粱雨時
• 申請（專利權）人: 上海圖漾信息科技有限公司
• 主分類號: H04N13/02
• 分類號: H04N13/02;G06T15/04
• 代理公司: 北京展翼知識產權代理事務所(特殊普通合伙)11452
• 代理人: 張陽

技術領域

本發明涉及三維圖像拍攝和處理領域，特別涉及一種立體視頻采集系統及其涉及的相應采集和合成方法。

背景技術

目前，有關三維圖像拍攝的各種方案已廣泛發展。一般而言，拍攝三維圖像時，使用兩個成像裝置分別對拍攝區域或對象進行拍攝，從不同的視角同時獲得兩個二維圖像，并將這兩幅圖像通過計算合成為帶有深度信息的三維圖像。

雙目成像技術只能實現單視角的三維圖像。為了實現立體成像，現有技術中還給出了布置多個成像裝置進行立體拍攝與合成的方案。但這些現有的技術方案需要對成像裝置進行復雜的設置與調制，并且需要大量的計算來實現立體視頻的合成。這樣高的專業性和成本的要求使得立體視頻的利用難以得到普及。

因此還需要一種能夠以相對簡單的布置和低廉的造價實現立體視頻采集的方法和裝置。

發明內容

本發明的主要目的在于提供一種立體視頻采集系統及其涉及的相應采集和合成方法，其能夠以相對簡單的布置和低廉的造價方便地實現立體視頻的采集。

根據本發明的一個方面，提供了一種立體視頻采集系統，包括：圍繞拍攝區域布置的至少三個采集設備，至少三個所述采集設備具有已知的相對位置關系，并且各自包括：紅外光投射裝置，用于向所述拍攝區域投射帶有紋理的紅外光束；以及兩個圖像傳感器，兩個所述圖像傳感器之間具有預定相對位置關系，并且用于獲取所述拍攝區域中的拍攝對象反射的紅外紋理圖像；所述立體視頻采集系統還包括：與每一個所述采集設備相連接的立體圖像合成設備，用于將所述至少三臺采集設備的圖像傳感器獲取的至少六幅紅外紋理圖像合成為用于立體視頻的立體圖像幀。

由此，通過主動投射的紅外條紋進行雙目識別和立體合成，能夠相比于通常的色彩合成大幅降低對系統硬件和計算時間的需求。另外，通過獲知采集設備及其包含的圖像傳感器的相對位置，就能夠從獲取的紅外圖像中快速構建立體圖像幀，以實現成本相對低廉、可實現性強且系統效率高的立體視頻采集。

采集系統還可以包括用于使得至少三個采集設備進行同步成像的同步設備，所述同步設備與每一個所述采集設備相連接并且與所述立體圖像合成設備相連接。優選地，同步設備可以與每一個采集設備有線連接。這樣，通過直接的物理連接，能夠用電信號實現各采集設備的同步，這就省卻了采用其他信號(例如，無線信號等)進行同步所需的復雜裝置和計算，由此在提升處理速度的同時降低了系統的復雜性。

采集設備的紅外光投射裝置可以投射帶有不同紋理編碼(例如，點編碼)的紅外光束，由此確保各自的圖像傳感器不會受到來自其他采集設備的紅外光束的干擾。

可以在采集設備端進行一定的計算，為此采集設備還可以包括深度圖生成裝置，用于從兩個所述圖像傳感器獲得的紅外紋理圖像中生成深度點圖，并且所述立體圖像合成設備還可以包括點云合成裝置，用于將至少三個所述采集設備生成的至少三個深度點圖合成為三維點云。通過使用深度信息合成點云，能夠更為簡單且準確的計算來實現三維建模，從而進一步系統的可實現性和成本競爭力。

深度圖也可以在立體圖像合成設備中生成，因此立體圖像合成設備也可以包括用于從每一個所述采集設備的兩幅紅外紋理圖像中生成深度點圖并將至少三個所述采集設備生成的至少三個深度點圖合成為三維點云的點云合成裝置，

立體圖像合成設備還可以包括立體模型生成裝置，用于對所述三維點云進行表面mesh處理以生成拍攝對象的立體模型圖像幀。由此實現更為符合實際需求的立體模型。

本采集系統還可以對可見光信息進行采集。由此，采集設備可以各自包括可見光圖像傳感器，用于獲取所述拍攝區域中的拍攝對象的可見光圖像。相應地，立體圖像合成設備還可以包括可見光信息合并裝置，用于將所述可見光圖像所包含的圖像信息并入所述立體圖像幀，例如直接在經過表面mesh處理的模型上貼圖。由此，能夠以極低的計算代價實現對彩色信息的疊加。

本采集系統可以是為一組采集設備配備一個立體圖像合成設備的獨立系統，也可以是在服務器端實現立體圖像合成的大型系統。由此，立體圖像合成設備是合成服務器，經由有線或無線網絡連接與每一個所述采集設備相連接。采集系統包括多個采集設備組，分別用于對不同的拍攝區域進行成像，并且合成服務器為每一個所述采集設備組各自合成為用于立體視頻的立體圖像幀。