[發明專利]混合相機系統及其時間標定方法及裝置

有效

• 申請號: 201711372440.X
• 申請日: 2017-12-19
• 公開（公告）號: CN108090935B
• 公開（公告）日: 2020-06-19
• 發明（設計）人: 李一鵬;朱奕霖;戴瓊海
• 申請（專利權）人: 清華大學
• 主分類號: G06T7/80
• 分類號: G06T7/80;H04N5/04;H04N5/247;H04N5/76
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張潤

1.一種混合相機系統及其時間標定方法，其特征在于，包括以下步驟：

搭建混合相機系統，其中，所述混合相機系統由event-based相機、相機與分光片組成；

運行所述混合相機系統，并記錄所述event-based相機拍攝的事件與所述相機拍攝的視頻；

獲取所述相機拍攝的視頻相鄰幀之間的像素變化；

將所述event-based相機拍攝的事件個數根據視頻幀率間隔求和；

獲取所述相機的相鄰幀之間的像素變化與所述event-based相機求和后事件個數的互相關系數；以及

獲取所述event-based相機與所述相機時間差，以獲得時間對齊結果，進而完成時間標定。

2.根據權利要求1所述的混合相機系統及其時間標定方法，其特征在于，所述搭建混合相機系統，進一步包括：

將所述event-based相機、所述分光片與所述相機的空間位置p_D，p_S，p_C在xy方向平面的投影構成等腰直角三角形，且z方向上的分量相同，所述event-based相機與所述相機位于所述分光片平面兩側，且使所述event-based相機經過所述分光片的反射像與所述相機重合，使得p_D’＝p_C。

3.根據權利要求1所述的混合相機系統及其時間標定方法，其特征在于，所述視頻相鄰幀之間的像素變化為視頻相鄰兩幀各像素差的 絕對值之和，且所述視頻幀率間隔為所述相機拍攝視頻幀率的倒數。

4.根據權利要求1所述的混合相機系統及其時間標定方法，其特征在于，所述event-based相機在任一時間間隔內獲得的事件個數是指從時間間隔開始至時間間隔結束內的事件總數其中，E_t為在t時刻發生的事件個數，進而所述互相關系數為計算兩個信號或者函數f(x)與g(x)之間的相關性，計算公式為：

其中，len(h(x))表示函數h(x)的長度，f(i)為第一個信號，g(i)為第二個信號，i為累加序號，n為相關函數自變量，R_f，g(n)為相關函數，len(f(x))-1為函數f(x)的長度減一。

5.根據權利要求1-4任一項所述的混合相機系統及其時間標定方法，其特征在于，所述獲取所述event-based相機與所述相機時間差，進一步包括：

尋找互相關函數的最大值位置，并用event-based相機信號長度減去后獲得的值，以得到所述event-based相機與所述相機時間差Δt，其中，Δt＝f*(len(c(x))-1-argmax(R_d，c(n)))，其中f為視頻幀率，c(x)為所述相機的相鄰幀像素變化函數。

6.一種混合相機系統及其時間標定裝置，其特征在于，包括：

搭建模塊，用于搭建混合相機系統，其中，所述混合相機系統由event-based相機、相機與分光片組成；

記錄模塊，用于運行所述混合相機系統，并記錄所述event-based相機拍攝的事件與所述相機拍攝的視頻；

第一獲取模塊，用于獲取所述相機拍攝的視頻相鄰幀之間的像素變化；

求和模塊，用于將所述event-based相機拍攝的事件個數根據視頻幀率間隔求和；

第二獲取模塊，用于獲取所述相機的相鄰幀之間的像素變化與所述event-based相機求和后事件個數的互相關系數；以及

時間標定模塊，用于獲取所述event-based相機與所述相機時間差，以獲得時間對齊結果，進而完成時間標定。