[發明專利]混合相機系統及其時間標定方法及裝置

有效

• 申請號: 201711372440.X
• 申請日: 2017-12-19
• 公開（公告）號: CN108090935B
• 公開（公告）日: 2020-06-19
• 發明（設計）人: 李一鵬;朱奕霖;戴瓊海
• 申請（專利權）人: 清華大學
• 主分類號: G06T7/80
• 分類號: G06T7/80;H04N5/04;H04N5/247;H04N5/76
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張潤

本發明公開了一種混合相機系統及其時間標定方法及裝置，其中，方法包括：搭建混合相機系統；運行混合相機系統，并記錄event?based相機拍攝的事件與相機拍攝的視頻；獲取相機拍攝的視頻相鄰幀之間的像素變化；將event?based相機拍攝的事件個數根據視頻幀率間隔求和；獲取相機的相鄰幀之間的像素變化與event?based相機求和后事件個數的互相關系數；獲取event?based相機與相機時間差，以獲得時間對齊結果，進而完成時間標定。該方法可以準確的標定event?based相機與普通相機的時間關系，避免因數據源時間不同步產生的誤差導致系統無法使用，可以使混合相機系統穩定正常運行。

技術領域

本發明涉及計算機視覺技術領域，特別涉及一種混合相機系統及其時間標定方法及裝置。

背景技術

無人機在執行任務時，由于GPS(Global Positioning System，全球定位系統)等輔助定位裝置在城市環境內準確程度不高。解決GPS問題的最佳途徑是視覺導航，也就是用依附在無人機上的攝像頭連續地拍攝圖像，通過對圖像的處理來完成定位和導航工作。然而，僅僅依靠普通幀率的相機，在拍攝時容易因為無人機運動速度過快造成圖像的運動模糊，導致位置估計結果偏差較大，可能引起無人機的飛行控制算法出現問題導致墜毀等事故。

現在的搭載視覺定位裝置的無人機應用中，由于普通相機傳感器自身的限制，避免運動模糊得方式只有提高快門速度，來減小拍攝時每一幀內高速運動的范圍。但面臨著兩個問題，一方面，進光量會大幅減小，導致圖像偏暗，可能導致視覺算法無法正常工作；另一方面，這種方式沒有從根本上解決普通相機所導致的問題，無法達到本質上的性能提升。

隨著傳感器技術的發展，出現了一種新的event-based相機。當event-based相機的單個像素點接收的光強產生變化時，該像素點就會輸出一個事件，這就保證了它對亮度變化十分敏感，可以感知高時間分辨率的光強變化。與普通相機結合后，一種新型的高空間分辨率與高時間分辨率的混合相機系統就出現了。這套系統可應用于醫療領域與機器人領域，可以提高視覺算法的穩定性，特別適用于高速運動的無人機平臺上。然而，這兩個相機是分立的硬件，沒有統一的硬件觸發，因此錄制信息的時間戳無法通過硬件對齊，有待解決。

發明內容

本發明旨在至少在一定程度上解決相關技術中的技術問題之一。

為此，本發明的一個目的在于提出一種混合相機系統及其時間標定方法，該方法可以避免因數據源時間不同步產生的誤差導致系統無法使用，可以使混合相機系統穩定正常運行。

本發明的另一個目的在于提出一種混合相機系統及其時間標定裝置。

為達到上述目的，本發明一方面實施例提出了一種混合相機系統及其時間標定方法，包括以下步驟：搭建混合相機系統，其中，所述混合相機系統由event-based相機、相機與分光片組成；運行所述混合相機系統，并記錄所述event-based相機拍攝的事件與所述相機拍攝的視頻；獲取所述相機拍攝的視頻相鄰幀之間的像素變化；將所述event-based相機拍攝的事件個數根據視頻幀率間隔求和；獲取所述相機的相鄰幀之間的像素變化與所述event-based相機求和后事件個數的互相關系數；獲取所述event-based相機與所述相機時間差，以獲得時間對齊結果，進而完成時間標定。

本發明實施例的混合相機系統及其時間標定方法，可以準確的標定event-based相機與普通相機的時間關系，避免因數據源時間不同步產生的誤差導致系統無法使用，可以使混合相機系統穩定正常運行。

另外，根據本發明上述實施例的混合相機系統及其時間標定方法還可以具有以下附加的技術特征：