[發(fā)明專利]一種基于多目視覺的距離測量方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202210237748.8
• 申請(qǐng)日: 2022-03-11
• 公開（公告）號(hào): CN114754732B
• 公開（公告）日: 2023-09-05
• 發(fā)明（設(shè)計(jì)）人: 郭曉川;施文波;李校驍;徐然;戚群朗
• 申請(qǐng)（專利權(quán)）人: 江蘇電力信息技術(shù)有限公司
• 主分類號(hào): G01C3/00
• 分類號(hào): G01C3/00;G01C11/00;G06N3/0464;G06N3/08;G06T5/50;G06T7/80
• 代理公司: 無錫智麥知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 32492
• 代理人: 王普慧

1.一種基于多目視覺的距離測量方法，其特征在于：

設(shè)置參數(shù)相同的雙目照相機(jī)作為左右視覺圖像采集傳感器；

為達(dá)到理想雙目系統(tǒng)，進(jìn)行立體視覺矯正使得左右目圖像的極線位于同一水平線上；

視差計(jì)算通過以下兩個(gè)網(wǎng)絡(luò)和步驟進(jìn)行：構(gòu)建基于深度學(xué)習(xí)視差預(yù)測網(wǎng)絡(luò)，采用選取的數(shù)據(jù)集作為訓(xùn)練樣本；網(wǎng)絡(luò)包括收縮部分和擴(kuò)張部分，收縮網(wǎng)絡(luò)部分卷積神經(jīng)網(wǎng)絡(luò)在進(jìn)行特征的提取與變換時(shí)，對(duì)訓(xùn)練用的左右視圖進(jìn)行融合，之后將融合后的圖像輸入至收縮網(wǎng)絡(luò)，層層縮小特征譜的分辨率，采用八層conv收縮卷積層，各層卷積核以及特征圖維度依次減少；

擴(kuò)張網(wǎng)絡(luò)通過向后unconv進(jìn)行,采用與收縮網(wǎng)絡(luò)對(duì)應(yīng)的八層擴(kuò)張網(wǎng)絡(luò)進(jìn)行左右視圖的視差預(yù)測，卷積特征圖維度依次升高，為使得預(yù)測產(chǎn)生更平滑的視差圖以及提升預(yù)測的精確度，每一層的逆卷積結(jié)果還包括對(duì)應(yīng)對(duì)維度收縮層結(jié)果的疊加，實(shí)現(xiàn)直接在小的特征圖上視差預(yù)測；

基于目標(biāo)特征點(diǎn)檢測網(wǎng)絡(luò)視差計(jì)算，步驟如下：

S21：導(dǎo)入左右視圖；

S22：使用Sift算法對(duì)左右視圖檢測關(guān)鍵點(diǎn)；

S23：使用SiftDescriptor提取各個(gè)關(guān)鍵點(diǎn)的描述子；進(jìn)行兩圖像的關(guān)鍵點(diǎn)匹配；

S24：誤匹配剔除，由于關(guān)鍵點(diǎn)匹配中會(huì)包含很多錯(cuò)誤的匹配，進(jìn)行誤匹配剔除，選取最終匹配特征點(diǎn)對(duì)；

S25：計(jì)算出正確匹配特征點(diǎn)的X坐標(biāo)差，即為該匹配特征點(diǎn)的像素視差；

S26：計(jì)算所有匹配特征點(diǎn)對(duì)的視差，利用均值方差去除掉偏差值較大的視差，計(jì)算視差均值作為最后的結(jié)果；

進(jìn)行融合視差計(jì)算，進(jìn)一步提高視差計(jì)算的穩(wěn)定性和準(zhǔn)確性；當(dāng)上述基于深度學(xué)習(xí)視差預(yù)測網(wǎng)絡(luò)與基于目標(biāo)特征點(diǎn)檢測網(wǎng)絡(luò)的視差進(jìn)行差異度比較，當(dāng)二者差異較大，則剔除此次視差計(jì)算，對(duì)左右相機(jī)進(jìn)行一定的偏移重新采集左右視圖，直到二者視差達(dá)到穩(wěn)定，說明視差是穩(wěn)定可信的；計(jì)算融合視差圖的視差值，利用融合后的視差計(jì)算距離值。

2.根據(jù)權(quán)利要求1所述的基于多目視覺的距離測量方法，其特征在于視覺測距系統(tǒng)中的雙目相機(jī)采用定焦鏡頭，雙目視覺測距系統(tǒng)在安裝完畢后相機(jī)的焦距值是固定的，最后通過下公式計(jì)算距離L1：

其中f為相機(jī)焦距，b為相機(jī)基線距離，d為融合視差值；物體距離與其視差值簡單的反比例關(guān)系。

3.根據(jù)權(quán)利要求1所述的基于多目視覺的距離測量方法，其特征在于基于深度學(xué)習(xí)視差預(yù)測網(wǎng)絡(luò)構(gòu)建中采用Monkaa、Driving和FlyingThings3D數(shù)據(jù)集作為訓(xùn)練樣本。

4.根據(jù)權(quán)利要求1所述的基于多目視覺的距離測量方法，其特征在于訓(xùn)練誤差函數(shù)為err通過下式計(jì)算：這里y_i表示深度神經(jīng)網(wǎng)絡(luò)的輸出數(shù)據(jù)，表示標(biāo)準(zhǔn)視差圖像數(shù)據(jù)，i表示數(shù)據(jù)的維度。

5.根據(jù)權(quán)利要求1所述的基于多目視覺的距離測量方法，其特征在于基于目標(biāo)特征點(diǎn)視差計(jì)算中的誤匹配剔除，計(jì)算出所有匹配特征點(diǎn)對(duì)中的最小距離和最大距離，通過下述約束篩選正確的匹配對(duì)，特征點(diǎn)間的距離l需要滿足：l≤0.4*lmin+0.6l_mean，作為候選匹配特征點(diǎn)，進(jìn)一步利用每個(gè)匹配得到兩個(gè)最接近的特征點(diǎn)，然后計(jì)算最接近距離和次接近距離之間的比值，當(dāng)比值大于既定值時(shí)，才作為最終匹配對(duì)。

6.根據(jù)權(quán)利要求1所述的基于多目視覺的距離測量方法，其特征在融合視差計(jì)算可以求和平均作為融合視差值。