[發(fā)明專利]一種基于雙目視覺(jué)的目標(biāo)快速定位方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202010407645.2
• 申請(qǐng)日: 2020-05-14
• 公開（公告）號(hào): CN111583342A
• 公開（公告）日: 2020-08-25
• 發(fā)明（設(shè)計(jì)）人: 王曄昕;彭嫚;劉召芹;萬(wàn)文輝;邸凱昌
• 申請(qǐng)（專利權(quán)）人: 中國(guó)科學(xué)院空天信息創(chuàng)新研究院
• 主分類號(hào): G06T7/73
• 分類號(hào): G06T7/73;G06T7/80;G06T7/00;G06N3/08;G06N3/04
• 代理公司: 北京紀(jì)凱知識(shí)產(chǎn)權(quán)代理有限公司 11245
• 代理人: 王胥慧

1.一種基于雙目視覺(jué)的目標(biāo)快速定位方法，其特征在于，包括以下步驟：

1)對(duì)應(yīng)于待定位目標(biāo)所在場(chǎng)景的位置，固定設(shè)置雙目視覺(jué)系統(tǒng)，對(duì)雙目視覺(jué)系統(tǒng)進(jìn)行標(biāo)定，并訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)；

2)通過(guò)標(biāo)定后的雙目視覺(jué)系統(tǒng)對(duì)待定位目標(biāo)所在場(chǎng)景進(jìn)行同步拍攝，獲取待定位目標(biāo)所在場(chǎng)景同一時(shí)刻的左影像和右影像；

3)根據(jù)訓(xùn)練后的卷積神經(jīng)網(wǎng)絡(luò)，對(duì)獲取的左影像和右影像進(jìn)行特征提取，確定待定位目標(biāo)分別在左影像和右影像的區(qū)域；

4)對(duì)待定位目標(biāo)分別在左影像和右影像中的區(qū)域進(jìn)行匹配，使得左影像和右影像中的同名區(qū)域?yàn)橥淮ㄎ荒繕?biāo)；

5)根據(jù)左影像和右影像中的同名區(qū)域，確定每一待定位目標(biāo)的精匹配特征點(diǎn)集；

6)根據(jù)每一待定位目標(biāo)的精匹配特征點(diǎn)集，確定對(duì)應(yīng)待定位目標(biāo)的三維坐標(biāo)。

2.如權(quán)利要求1所述的一種基于雙目視覺(jué)的目標(biāo)快速定位方法，其特征在于，所述步驟1)的具體過(guò)程為：

1.1)對(duì)應(yīng)于待定位目標(biāo)所在場(chǎng)景的位置，在靜止平臺(tái)或運(yùn)動(dòng)平臺(tái)上固定連接雙目視覺(jué)系統(tǒng)，其中，雙目視覺(jué)系統(tǒng)包括左相機(jī)和右相機(jī)；

1.2)對(duì)雙目視覺(jué)系統(tǒng)進(jìn)行標(biāo)定；

1.3)對(duì)待定位目標(biāo)進(jìn)行數(shù)據(jù)采集，訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)。

3.如權(quán)利要求2所述的一種基于雙目視覺(jué)的目標(biāo)快速定位方法，其特征在于，所述步驟1.2)的具體過(guò)程為：

1.2.1)建立以左相機(jī)光心為原點(diǎn)的工作坐標(biāo)系O_c-X_cY_cZ_c，其中，該工作坐標(biāo)系為右手坐標(biāo)系，深度方向?yàn)閆_c軸，X_c軸與Y_c軸分別平行于影像的x軸與y軸，控制場(chǎng)包括已知三維坐標(biāo)的多個(gè)控制點(diǎn)；

1.2.2)通過(guò)左相機(jī)和右相機(jī)對(duì)控制場(chǎng)中的控制點(diǎn)進(jìn)行拍攝，提取控制點(diǎn)分別在左相機(jī)和右相機(jī)拍攝影像上的成像特征點(diǎn)，建立控制點(diǎn)三維坐標(biāo)與二維影像坐標(biāo)之間的映射關(guān)系；

1.2.3)根據(jù)建立的映射關(guān)系，求解左相機(jī)和右相機(jī)的內(nèi)部參數(shù)和畸變參數(shù)，以及右相機(jī)相對(duì)于左相機(jī)的系統(tǒng)結(jié)構(gòu)參數(shù)。

4.如權(quán)利要求3所述的一種基于雙目視覺(jué)的目標(biāo)快速定位方法，其特征在于，所述步驟3)的具體過(guò)程為：

3.1)訓(xùn)練后的卷積神經(jīng)網(wǎng)絡(luò)包括卷積層、池化層和特征的分類層；

3.2)將同一時(shí)刻的左影像和右影像同時(shí)輸入至訓(xùn)練后的卷積神經(jīng)網(wǎng)絡(luò)，卷積神經(jīng)網(wǎng)絡(luò)的多層網(wǎng)絡(luò)結(jié)構(gòu)對(duì)輸入的影像不斷進(jìn)行特征提取，通過(guò)分類層輸出待定位目標(biāo)的識(shí)別結(jié)果以及待定位目標(biāo)的區(qū)域位置和范圍，其中，左影像通過(guò)卷積神經(jīng)網(wǎng)絡(luò)特征提取后的M個(gè)待定位目標(biāo)及其對(duì)應(yīng)的區(qū)域集為T_L:{T_L1,T_L2,…,T_LM}，T_L1～T_LM表示左影像識(shí)別的待定位目標(biāo)類別及其對(duì)應(yīng)的區(qū)域；右影像通過(guò)卷積神經(jīng)網(wǎng)絡(luò)特征提取后的N個(gè)待定位目標(biāo)及其對(duì)應(yīng)的區(qū)域集為T_R:{T_R1,T_R2,…,T_RN}，其中，T_R1～T_RN表示右影像識(shí)別的待定位目標(biāo)類別及其對(duì)應(yīng)的區(qū)域；區(qū)域由(x,y,w,h)表示，分別為區(qū)域的左上頂點(diǎn)的圖像坐標(biāo)以及矩形的寬和高。

5.如權(quán)利要求4所述的一種基于雙目視覺(jué)的目標(biāo)快速定位方法，其特征在于，所述步驟4)中當(dāng)左影像和右影像中的待定位目標(biāo)數(shù)量相同時(shí)，根據(jù)待定位目標(biāo)的區(qū)域位置中左上頂點(diǎn)的x坐標(biāo)大小，或者待定位目標(biāo)的區(qū)域面積的大小，對(duì)待定位目標(biāo)分別在左影像和右影像中的區(qū)域進(jìn)行匹配，具體過(guò)程為：

根據(jù)待定位目標(biāo)的區(qū)域位置中左上頂點(diǎn)的x坐標(biāo)大小，或者待定位目標(biāo)的區(qū)域面積的大小，對(duì)左影像的區(qū)域集T_L進(jìn)行排序，得到排序后的區(qū)域集；

根據(jù)待定位目標(biāo)的區(qū)域位置中左上頂點(diǎn)的x坐標(biāo)大小，或者待定位目標(biāo)的區(qū)域面積的大小，對(duì)右影像的區(qū)域集T_R進(jìn)行排序，得到排序后的區(qū)域集；

排序后的區(qū)域集中同一序號(hào)名稱代表的區(qū)域?yàn)橥淮ㄎ荒繕?biāo)。