[發明專利]一種基于外部傳感器的多攝像機視頻同步裝置及方法

有效

• 申請號: 201510090739.0
• 申請日: 2015-02-28
• 公開（公告）號: CN104717426B
• 公開（公告）日: 2018-01-23
• 發明（設計）人: 劉偉恒;劉建;鐘晨;張荃;陳杰
• 申請（專利權）人: 深圳市德賽微電子技術有限公司
• 主分類號: H04N5/232
• 分類號: H04N5/232;H04N7/18
• 代理公司: 廣州粵高專利商標代理有限公司44102
• 代理人: 常躍英

技術領域

本發明涉及攝像機視頻同步領域，特別涉及一種通過標記外部傳感器信號，實現多路攝像機視頻同步的裝置及方法。

在計算機視覺尤其是全景成像系統中，為了獲得較大視角圖像、檢測運動物體和構建物體三維信息，人們往往需要多臺攝像機協同工作。在實際的多攝像機應用中，一旦攝像機出現丟幀或設備拍攝不一致等問題，輕則會帶來匹配誤差影響檢測、拼接質量，重則產生錯誤結果，所以各攝像機間的視頻同步是一個關鍵步驟。現階段常見的多攝像機同步方法有以下兩類：

（一）攝像機一體化。在多攝像機系統中，各攝像機采用同一塊處理芯片，根據該芯片發出的時鐘信號各攝像機進行同步采集。也可采用高精度同步信號發生器，在外觸發信號的驅動下各攝像機同步工作。這類方法往往要求攝像機的位置相對集中，如果攝像機位置較遠或者相對分散，考慮到中間導線的傳輸誤差，該方法往往不能滿足實際要求。

（二）基于攝像機圖像內容的特征匹配。一種方法是獲取目標特征點運動過程中，第一攝像機和第二攝像機拍攝得到的位置信息，包括第一攝像機得到的第一特征點位置序列和第二攝像機得到的第二特征點位置序列。根據第一特征點位置序列以及單應矩陣，得到目標特征點的第二特征點估計位置序列，由第二特征點估計位置序列和第二特征點位置的序列差異值確定幀同步位置。另一種方法是在兩個攝像機圖像中分別檢測運動物體的運動信息，通過設置閾值分別建立事件發生序列，利用兩個事件序列相關性來幫助尋找兩段視頻序列中的對應幀, 通過全局投票的方法尋求最優幀偏移量。

這類方法大多利用攝像機之間的特征點匹配來建立視頻中的單組對應幀的對應關系，但該方法以精度要求高、實施困難的對應特征點檢測和跟蹤為基礎, 這大大地限制了它們的運行速度和實用價值。

發明內容

為解決上述問題，本發明提供一種基于外部傳感器的多攝像機視頻同步裝置及方法。

具體的；該裝置包括圖像采集模塊、偏移量求取模塊、視頻同步模塊；圖像采集模塊包括多個圖像采集單元；圖像采集單元包括攝像機；圖像采集單元還包括傳感器組件、數據整合模塊及數據存儲模塊；傳感器組件包括一個或者多個傳感器；圖像采集模塊連接至偏移量求取模塊及視頻同步模塊，偏移量求取模塊還與視頻同步模塊連接；圖像采集單元中攝像機和傳感器組件連接至數據整合模塊，數據整合模塊連接至數據存儲模塊。

優選的，在車載系統等運動場景，所述傳感器可采用微機械加速度傳感器。

優選的，在多攝像機監視系統等靜態場景，所述傳感器可采用微機械聲學傳感器。

優選的，所述傳感器可采用微機械陀螺。

基于外部傳感器的多攝像機視頻同步方法，包括步驟：

圖像采集及環境采樣：所述圖像采集模塊中，各圖像采集單元在控制信號的控制下，控制攝像機與傳感器組件以一定頻率分別進行圖像視頻的采集及環境采樣，并將攝像機采集到的圖像幀及傳感器組件對環境采樣的采樣點輸入對應的數據整合模塊；

建立幀對應關系；數據整合模塊將同一采樣時刻攝像機采集得到的圖像幀和傳感器組件采集到的采樣點確定為一種幀對應關系；

數據存儲；將攝像機采集到的圖像幀與傳感器采樣點的幀對應關系連同傳感器采樣點序列一起存儲在數據存儲模塊中，在計算需要時取出。

偏移量求取；所述偏移量求取模塊從數據存儲模塊中取出不同圖像采集單元中的傳感器采樣點序列，根據序列間的相關性，求取各個圖像采集單元中傳感器采樣點序列間的偏移量，并將偏移量輸入視頻同步單元；

視頻同步；所述視頻同步單元收到不同圖像采集單元中傳感器的采樣點序列間的偏移量時，從數據存儲模塊中取出不同圖像采集單元中的攝像機采集到的圖像幀序列及同一圖像采集單元內攝像機采集得到的圖像幀和傳感器采樣點的對應關系，計算出各個圖像采集單元內攝像機圖像幀的偏移關系，并根據圖像幀的偏移關系對各個圖像采集單元內的攝像機視頻進行同步。

作為視頻同步的一種方法，視頻同步模塊根據圖像幀的偏移關系，通過控制數據整合模塊，在圖像采集及環境采樣時直接配準相關攝像機當前采集到的圖像幀，對各個圖像采集單元內的攝像機視頻進行同步。

作為視頻同步的另一種方法，視頻同步模塊在圖像采集及環境采樣結束之后，根據各攝像機圖像幀序列間的偏移關系，重新配準各攝像機視頻中不同步的圖像幀，對各個圖像采集單元內的攝像機視頻進行同步。