[發明專利]多攝像頭幀同步方法

有效

• 申請號: 201910569627.1
• 申請日: 2019-06-27
• 公開（公告）號: CN110290287B
• 公開（公告）日: 2022-04-12
• 發明（設計）人: 李漢曦;金海強;周舒雅;張斯祺
• 申請（專利權）人: 上海玄彩美科網絡科技有限公司
• 主分類號: H04N5/04
• 分類號: H04N5/04;H04N5/232;H04N13/243
• 代理公司: 深圳智趣知識產權代理事務所(普通合伙) 44486
• 代理人: 崔艷崢

本發明提供了一種多攝像頭幀同步方法，提出數字圖像時鐘近似代替圖像采集時間表示幀圖像。具體的，包括：設計一個同步視頻，通過拍攝播放同步視頻的顯示器獲取圖像數據，然后利用特征點匹配法將圖像數據扭正并計算出每幀圖像的數字圖像時鐘，再利用統計學方法回歸出數字圖像時鐘與本地圖像獲取時間的關系參數，以此對每個攝像頭建模。之后獲取數字圖像時鐘相差最小的幀圖像，判斷其數字圖像時鐘差是否小于事先設定的閾值，若小于，則尋找到的幀圖像即為同步幀。本發明對攝像頭硬件要求低，且無需對攝像頭參數進行調節，對人工要求低，操作簡便，易普及。

技術領域

本發明主要涉及計算機視覺、圖像處理、模式識別等技術領域，特別涉及到多攝像頭幀同步方法。

背景技術

隨著直播和3D電影等在現代社會的普及，人們對攝像頭拍攝效果的要求越來越高，例如大型晚會的直播，需要多個攝像頭同時多方位拍攝。多攝像頭幀同步是全方位直播、3D電影制作、3D模型估計、立體圖像識別等利用多攝像頭拍攝場景的應用中需解決的基本問題，其目的在于獲取到多個攝像頭的同步幀，或將同步幀拼接整合至同一畫面，以此實現全方位的直播；或將同步幀進行特定操作，以此呈現3D效果。

現有實現多攝像頭幀同步方法主要分為以下幾種：

硬件幀同步：工業攝像頭與電影攝影機等攝像頭在硬件上提供外同步信號輸入接口，如GENLOCK，利用此接口將多個攝像頭連接至同一觸發源，利用控制觸發源來同時觸發多個攝像頭的啟動拍攝等，以此實現多個攝像頭的幀同步。這種方法的問題在于必須使用帶外同步信號接口的攝像頭，對硬件要求極高，硬件成本高，且可使用的攝像頭范圍較小，無法使用市面上普遍的攝像頭，無法普及。

基于NTP同步協議的方式：網絡攝像頭利用NTP同步協議在本地局域網內多個攝像頭的幀同步。該方法設置客戶端與攝像頭服務器端，通過估計客戶端廣播至服務器端的時間，并計算等待時間，以此準確估計各攝像頭之間的時間差，以此實現多攝像頭幀同步。這種方法對攝像頭要求仍然較高，需要配合特定的設備實現多攝像頭幀同步，易受網絡傳輸速度影響。

基于PLL(鎖相環)的方式：在鎖相環實時生成穩定同步輸出信號的基礎上利用光照、聲音等實現攝像頭幀同步的方法。這種方法需要在外部利用LED燈等設備幫助實現多攝像頭幀同步，并需要調節攝像頭的增益參數以適應LED燈的光照，操作較繁瑣，不宜推廣。

發明內容

為克服一般攝像頭無法準確獲取幀圖像采集時間的硬件問題，解決多攝像頭幀同步無法普及的情況，本發明提出一種多攝像頭幀同步方法，在對攝像頭硬件設備無特殊要求且無需對攝像頭進行參數調節的前提下，實現多攝像頭的幀同步，進而實現視頻拼接、3D特效等。

為達到此目的，本發明的技術方案是這樣實現的：

多攝像頭幀同步方法，其特征在于，包括以下步驟：

S1，設計同步視頻，使拍攝同步視頻的每一幀圖像都可計算出數字圖像時鐘；

S2，多個攝像頭同時拍攝播放同步視頻的顯示器，并利用特征點匹配的方法將幀圖像數據扭正并計算出每幀圖像的數字圖像時鐘；

S3，利用統計學回歸出數字圖像時鐘與本地圖像接收時間的關系參數，為每個攝像頭建模；

S4，尋找數字圖像時鐘相差最小的幀即為同步幀。

進一步地，上述S1步驟中同步視頻的設計為利用圖案的變化表示數字圖像時鐘，并使用多種子圖案代表同一信息，以此冗余性提高數字圖像時鐘估計的魯棒性。以數字圖像時鐘代替幀圖像采集時間準確表示每一幀圖像。

進一步地，上述S2步驟中多個攝像頭同時拍攝播放同步視頻的顯示器，當得到數字圖像時鐘與本地圖像接收時間的關系參數后，即可拍攝目標物體或場景。