[發(fā)明專利]雙目相機(jī)系統(tǒng)和雙目相機(jī)空間標(biāo)定方法

有效

• 申請?zhí)枺?/td>: 202011593703.1
• 申請日: 2020-12-29
• 公開（公告）號: CN112700502B
• 公開（公告）日: 2023-08-01
• 發(fā)明（設(shè)計）人: 吳金建;李漢標(biāo);石光明
• 申請（專利權(quán)）人: 西安電子科技大學(xué)
• 主分類號: G06T7/80
• 分類號: G06T7/80;G06T5/00;G06T7/33;G06V10/46
• 代理公司: 陜西電子工業(yè)專利中心 61205
• 代理人: 程曉霞;王品華

1.一種雙目相機(jī)系統(tǒng)，其特征在于，依次級聯(lián)有相機(jī)模塊、校正模塊、標(biāo)定模塊和存儲模塊，形成雙目相機(jī)系統(tǒng)；鏡頭朝向相同且并聯(lián)的事件相機(jī)和普通CMOS相機(jī)構(gòu)成相機(jī)模塊，其中各模塊描述如下：

所述相機(jī)模塊，包括有事件相機(jī)和CMOS相機(jī)，用于獲取地址-事件數(shù)據(jù)流、圖像和圖像拍攝時間，其中，事件相機(jī)用于獲取地址-事件數(shù)據(jù)流，CMOS相機(jī)用于獲取圖像和圖像的拍攝時間，事件相機(jī)和CMOS相機(jī)同時輸出數(shù)據(jù)并且事件相機(jī)和CMOS相機(jī)的輸出圖像的尺寸相同，事件相機(jī)的鏡頭和CMOS相機(jī)的鏡頭主軸平行，事件相機(jī)和CMOS相機(jī)的傳感器平面在同一平面上；

所述校正模塊，用于分別對事件相機(jī)輸出的地址-事件數(shù)據(jù)流和CMOS相機(jī)輸出的圖像進(jìn)行畸變校正和極線校正，并輸出校正后的地址-事件數(shù)據(jù)流和校正后的圖像，其中，校正模塊存儲有事先標(biāo)定的事件相機(jī)的相機(jī)矩陣和畸變矩陣，存儲有事先標(biāo)定的CMOS相機(jī)的相機(jī)矩陣和畸變矩陣，還存儲有事先標(biāo)定的事件相機(jī)和CMOS相機(jī)之間的旋轉(zhuǎn)矩陣和平移矩陣；

所述標(biāo)定模塊，用于對畸變校正和極線校正后的地址-事件數(shù)據(jù)流和圖像進(jìn)行空間位置標(biāo)定，獲取表示地址-事件數(shù)據(jù)流中事件坐標(biāo)與圖像像素坐標(biāo)對應(yīng)關(guān)系的單應(yīng)矩陣并輸出；

所述存儲模塊，包括有持久化存儲器，用于持久化存儲標(biāo)定結(jié)果，標(biāo)定結(jié)果包括校正后的地址-事件數(shù)據(jù)流、校正后的圖像和表示地址-事件數(shù)據(jù)流中事件坐標(biāo)和圖像像素坐標(biāo)對應(yīng)關(guān)系的單應(yīng)矩陣。

2.根據(jù)權(quán)利要求1所述的雙目相機(jī)系統(tǒng)，其特征在于，所述校正模塊中存儲的事先標(biāo)定的事件相機(jī)的相機(jī)矩陣和畸變矩陣由張正友標(biāo)定法獲得，校正模塊存儲的事先標(biāo)定的CMOS相機(jī)的相機(jī)矩陣和畸變矩陣由張正友標(biāo)定法獲得；校正模塊存儲的事先標(biāo)定的事件相機(jī)和CMOS相機(jī)之間的旋轉(zhuǎn)矩陣和平移矩陣，由Bouguet極線校正方法獲得。

3.一種雙目相機(jī)空間標(biāo)定方法，是在權(quán)利要求1-2所述的雙目相機(jī)系統(tǒng)上實現(xiàn)的，其特征在于，包括有如下步驟：

(1)相機(jī)模塊獲取地址-事件數(shù)據(jù)流、圖像和每幅圖像的拍攝時間：

相機(jī)模塊中的事件相機(jī)獲取地址-事件數(shù)據(jù)流E＝{e_i|0＜i≤N₁}并輸出，同時相機(jī)模塊中的CMOS相機(jī)獲取N₂幅圖像和每幅圖像拍攝的時刻S＝{s_r|0＜r≤N₂}并輸出，其中e_i表示第i個事件，e_i＝(x_i,y_i,g_i,t_i)，x_i和y_i分別表示e_i的觸發(fā)位置像素的橫坐標(biāo)和縱坐標(biāo)，g_i表示e_i的灰度值，g_i＞0，t_i表示e_i的觸發(fā)的時間，s_r＝(I_r,tp_r)，I_r表示圖像序列S中的第r幅圖像，tp_r表示圖像I_r拍攝的時刻，N₁＞0，N₁表示地址-事件數(shù)據(jù)流E中的事件數(shù)量，N₂＞0；

(2)校正模塊對每個事件e_i和圖像I_r進(jìn)行畸變校正和極線校正：

校正模塊通過事件相機(jī)的相機(jī)矩陣和畸變矩陣對每個事件e_i進(jìn)行畸變校正，得到畸變校正后的事件e_1,i，通過CMOS相機(jī)的相機(jī)矩陣和畸變矩陣對每幅圖像I_r進(jìn)行畸變校正，得到畸變校正后的圖像I_1,r，并通過事件相機(jī)和CMOS相機(jī)之間的旋轉(zhuǎn)矩陣和平移矩陣對事件e_1,i和圖像I_1,r進(jìn)行極線校正，得到極線校正后的事件e_2,i和圖像I_2,r；

(3)標(biāo)定模塊對校正后的地址-事件數(shù)據(jù)流和圖像進(jìn)行空間位置標(biāo)定：

標(biāo)定模塊對每一幅圖像I_2,r，根據(jù)圖像I_2,r的拍攝時刻tp_r，將校正后的地址-事件數(shù)據(jù)流E₂切分為多個地址-事件數(shù)據(jù)流段E_2,r，并將地址-事件數(shù)據(jù)流段E_2,r中的事件根據(jù)事件的坐標(biāo)累積到矩陣中，用SIFT算子分別計算事件累積的矩陣和圖像I_2,r的特征點，并進(jìn)行特征點匹配，得到多對匹配點，并通過匹配點計算矩陣和圖像I_2,r之間的單應(yīng)矩陣，單應(yīng)矩陣表示地址-事件數(shù)據(jù)流的事件坐標(biāo)和圖像像素坐標(biāo)的對應(yīng)關(guān)系；

(4)存儲模塊存儲標(biāo)定結(jié)果：存儲模塊將校正后的地址-事件數(shù)據(jù)流、校正后的圖像和表示地址-事件數(shù)據(jù)流中事件坐標(biāo)與圖像像素坐標(biāo)的對應(yīng)關(guān)系的單應(yīng)矩陣的集合存儲在持久化存儲器中，完成對事件相機(jī)和CMOS相機(jī)的空間標(biāo)定。

4.根據(jù)權(quán)利要求3所述的雙目相機(jī)系統(tǒng)的雙目相機(jī)空間標(biāo)定方法，其特征在于，步驟(3)中所述標(biāo)定模塊對校正后的地址-事件數(shù)據(jù)流和圖像進(jìn)行空間位置標(biāo)定，包括有以下步驟：

(3a)構(gòu)建全零矩陣M＝zeros(H,W)，其中H和W分別表示CMOS相機(jī)輸出圖像的行數(shù)和列數(shù)，H≥32，W≥32，令M中的每一個元素m＝0，并令i＝1；

(3b)令r＝1；

(3c)根據(jù)圖像I_2,r的拍攝時間tp_r將地址-事件數(shù)據(jù)流劃分為地址-事件數(shù)據(jù)流段：

(3c1)設(shè)圖像I_r對應(yīng)的地址-事件數(shù)據(jù)流事件集合為E_2,r，令E_2,r為空集合；

(3c2)判斷事件e_2,i＝(x_2,i,y_2,i,g_i,t_i)中0＜x_2,i≤W且0＜y_2,i≤H是否成立，若是，執(zhí)行步驟(3c3)，否則，令i＝i+1,并執(zhí)行步驟(3c2)；

(3c3)將事件e_2,i＝(x_2,i,y_2,i,g_i,t_i)加入到集合E_2,r中，并執(zhí)行步驟(3c4)；

(3c4)判斷t_i≤tp_r是否成立，若是，令i＝i+1，并執(zhí)行步驟(3c2)，否則，得到圖像I_r對應(yīng)的地址-事件數(shù)據(jù)流段E_2,r＝{e_2,r,b|0＜b≤B}，其中，e_2,r,b＝(x_2,r,b,y_2,r,b,g_2,r,b,t_2,r,b)，B表示集合E_2,r中的事件數(shù)量；

(3d)令b＝1；

(3e)令其中，表示矩陣M中坐標(biāo)為(x_2,r,b,y_2,r,b)的元素；

(3f)判斷b≤B是否成立，若是，令b＝b+1，并執(zhí)行步驟(3e)，否則，執(zhí)行步驟(3g)；

(3g)用SIFT算子提取矩陣M中的特征點，得到N_r,3個特征點HP_r＝{p_r,l|0＜l≤N_r,3}，其中，p_r,l＝(x_r,l,y_r,l,F_r,l)，(x_r,l,y_r,l)表示特征點的坐標(biāo),F_r,l表示特征點的特征描述符,N_r,3＞8；

(3h)令l＝1；

(3i)用SIFT算子計算圖像I_2,r在y_r,l行上像素的特征點，得到W個特征點HP_r,l'＝{p_r,l,k'|0＜k≤W}，其中，p_r,l,k'表示圖像I_2,r在y_r,l行上的第k個特征點，p_r,l,k'＝(x_r,l,k',y_r,l,k',F_r,l,k')，(x_r,l,k',y_r,l,k')表示特征點p_r,l,k'的坐標(biāo),F_r,l,k'表示特征點p_r,l,k'的特征描述符；

(3j)令k＝1；

(3k)計算F_r,l和F_r,l,k'之間的歐式距離o_r,l,k；

(3l)判斷k＜W是否成立，若是，令k＝k+1，并執(zhí)行步驟(3k)，否則，得到特征描述符距離集合O_r,l＝{o_r,l,k|0＜k≤W}，并執(zhí)行步驟(3m)；

(3m)設(shè)O_r,l中最小值為o_r,l,k'，則p_r,l對應(yīng)的特征點為p_r,l,k′′；

(3n)判斷l(xiāng)≤N_r,3是否成立，若是，令l＝l+1，并執(zhí)行步驟(3i),否則，得到地址-事件數(shù)據(jù)流集合E_2,r中事件和圖像I_r的像素的對應(yīng)點的集合KP_r＝{f_r,l＝(p_r,l,p_r,l,k′′)|0＜l≤N_r,3}，并執(zhí)行步驟(3o)；

(3o)用八點法通過KP_r計算表示地址-事件數(shù)據(jù)流集合E_2,r中事件坐標(biāo)和圖像I_r中的像素坐標(biāo)對應(yīng)關(guān)系的單應(yīng)矩陣H_r；

(3p)判斷r≤N₂是否成立，若是，令r＝r+1，并執(zhí)行步驟(3c)，否則，得到表示地址-事件數(shù)據(jù)流中事件坐標(biāo)與圖像像素坐標(biāo)對應(yīng)關(guān)系的單應(yīng)矩陣的集合H＝{H_r|0＜r＜N₂}。