[發(fā)明專利]一種基于神經(jīng)網(wǎng)絡(luò)的單相機(jī)-雙棱鏡三維測量系統(tǒng)及測量方法

在審

• 申請?zhí)枺?/td>: 202210070690.2
• 申請日: 2022-01-21
• 公開（公告）號(hào): CN114543667A
• 公開（公告）日: 2022-05-27
• 發(fā)明（設(shè)計(jì)）人: 韋萍;王牧
• 申請（專利權(quán)）人: 同濟(jì)大學(xué)
• 主分類號(hào): G01B11/00
• 分類號(hào): G01B11/00;G06N3/04;G06N3/08
• 代理公司: 上海邦德專利代理事務(wù)所(普通合伙) 31312
• 代理人: 梁劍

本發(fā)明公開了一種基于神經(jīng)網(wǎng)絡(luò)的單相機(jī)?雙棱鏡三維測量系統(tǒng)及測量方法，包括：導(dǎo)軌、滑動(dòng)設(shè)置于導(dǎo)軌上的標(biāo)定板、移動(dòng)設(shè)置于導(dǎo)軌上相機(jī)、設(shè)置于相機(jī)于標(biāo)定板之間的雙棱鏡及計(jì)算機(jī)；所述相機(jī)沿其光軸方向位于導(dǎo)軌上移動(dòng)，且導(dǎo)軌上固定有鎖死件，所述鎖死件用于固定相機(jī)；所述計(jì)算機(jī)用于給相機(jī)供電并控制相機(jī)，且計(jì)算機(jī)包括三維測量模塊，所述三維測量模塊包括圖像處理部與神經(jīng)網(wǎng)絡(luò)訓(xùn)練部；所述導(dǎo)軌設(shè)置有滑塊，導(dǎo)軌通過直流電源驅(qū)動(dòng)步進(jìn)電機(jī)轉(zhuǎn)動(dòng)來移動(dòng)滑塊。根據(jù)本發(fā)明，可快速直接獲取該物體的空間坐標(biāo)或物體的尺寸，該方法精度更高，響應(yīng)更快，在已經(jīng)標(biāo)定好的空間測量域內(nèi)，不需要知道相機(jī)的焦距與景深，適用場景更加廣泛。

技術(shù)領(lǐng)域

本發(fā)明涉及三維測量的技術(shù)領(lǐng)域，特別涉及一種基于神經(jīng)網(wǎng)絡(luò)的單相機(jī)- 雙棱鏡三維測量系統(tǒng)及測量方法。

背景技術(shù)

體成像技術(shù)廣泛應(yīng)用于三維重構(gòu)和空間測量等工程與科學(xué)領(lǐng)域，其本質(zhì)就是通過儀器測量獲取被測物表面的三維坐標(biāo)信息。通過被測物在不同角度下的多視圖視差來獲取深度信息的雙目立體視覺測量技術(shù)，由于其測量速度快、精度高、應(yīng)用場景廣泛等優(yōu)點(diǎn)，成為近些年來工業(yè)應(yīng)用中獲取物體三維信息的一個(gè)很好的技術(shù)方案譬如，在微創(chuàng)手術(shù)中利用立體內(nèi)窺鏡獲取患者內(nèi)部病灶的三維圖像和深度信息；自動(dòng)駕駛中使用多個(gè)攝像頭來準(zhǔn)確獲取周圍障礙物到自身車輛的距離；智能工廠的機(jī)械手臂通過裝在末端執(zhí)行器的攝像頭實(shí)現(xiàn)精準(zhǔn)作業(yè)等等。

現(xiàn)有技術(shù)的缺陷和不足：可以說雙目立體視覺對諸如自動(dòng)駕駛等現(xiàn)代工業(yè)的進(jìn)步起到了重要作用。現(xiàn)有的雙目立體視覺技術(shù)大多采用兩個(gè)、三個(gè)甚至更多的相機(jī)對被測物進(jìn)行多個(gè)角度的同步拍攝，或者不斷改變相機(jī)位姿來獲取被測點(diǎn)的視差信息，進(jìn)而獲取相應(yīng)的三維信息，但是這樣的方式存在相機(jī)同步難、成本高、計(jì)算量大以及使用場景局限性較大等缺點(diǎn)。有人利用棱鏡折射原理，建立單相機(jī)-棱鏡立體視覺系統(tǒng)，在同一個(gè)相機(jī)傳感器中獲取被測物兩個(gè)或多個(gè)角度視圖的方案，以模擬雙目立體視覺，并基于小孔成像模型建立起諸多立體重構(gòu)模型，但無一例外這些重構(gòu)模型都是基于小孔成像模型下的線性模型，而實(shí)際上相機(jī)的成像是一個(gè)復(fù)雜的非線性模型，特別是棱鏡的引入又增加了圖像的畸變，又強(qiáng)化了系統(tǒng)成像的非線性，因此這些模型都無法準(zhǔn)確地進(jìn)行三維測量和重構(gòu)。盡管對諸如棱鏡位置擺放位置、成像畸變等各種因素進(jìn)行誤差分析和矯正，但效果依舊很有限，無法明顯提高其測量精度。且按照傳統(tǒng)的單相機(jī)-棱鏡立體系統(tǒng)的處理方式，是先利用已經(jīng)構(gòu)建理論模型進(jìn)行三維測量計(jì)算，再進(jìn)行標(biāo)定。這樣的方式計(jì)算步驟復(fù)雜，計(jì)算量大，耗費(fèi)在理論模型計(jì)算上的時(shí)間較長，同時(shí)對于不同的景深場景下，其矯正模型也難以普適，因此其測量范圍存在較大局限性。

發(fā)明內(nèi)容

針對現(xiàn)有技術(shù)中存在的不足之處，本發(fā)明的目的是提供一種基于神經(jīng)網(wǎng)絡(luò)的單相機(jī)-雙棱鏡三維測量系統(tǒng)及測量方法，可快速直接獲取該物體的空間坐標(biāo)或物體的尺寸，該方法精度更高，響應(yīng)更快，在已經(jīng)標(biāo)定好的空間測量域內(nèi)，不需要知道相機(jī)的焦距與景深，適用場景更加廣泛。為了實(shí)現(xiàn)根據(jù)本發(fā)明的上述目的和其他優(yōu)點(diǎn)，提供了一種基于神經(jīng)網(wǎng)絡(luò)的單相機(jī)-雙棱鏡三維測量系統(tǒng)，包括：

導(dǎo)軌、滑動(dòng)設(shè)置于導(dǎo)軌上的標(biāo)定板、移動(dòng)設(shè)置于導(dǎo)軌上相機(jī)、設(shè)置于相機(jī)于標(biāo)定板之間的雙棱鏡及計(jì)算機(jī)；

所述相機(jī)沿其光軸方向位于導(dǎo)軌上移動(dòng)，且導(dǎo)軌上固定有鎖死件，所述鎖死件用于固定相機(jī)；

所述計(jì)算機(jī)用于給相機(jī)供電并控制相機(jī)，且計(jì)算機(jī)包括三維測量模塊，所述三維測量模塊包括圖像處理部與神經(jīng)網(wǎng)絡(luò)訓(xùn)練部；

所述導(dǎo)軌設(shè)置有滑塊及固接于所述滑塊上的標(biāo)定板，且導(dǎo)軌通過直流電源驅(qū)動(dòng)步進(jìn)電機(jī)轉(zhuǎn)動(dòng)來移動(dòng)滑塊，通過控制步進(jìn)電機(jī)轉(zhuǎn)動(dòng)的圈數(shù)來精確控制標(biāo)定板沿Z方向上移動(dòng)的距離。

優(yōu)選的，所述雙棱鏡為沿頂線對稱的等腰棱鏡，其楔面角小于60°，材料為折射率為1.4的K9透明玻璃。

優(yōu)選的，雙棱鏡的頂線一側(cè)靠近相機(jī)，且雙棱鏡設(shè)置于由固定件與旋轉(zhuǎn)平移臺(tái)形成的固定組件上，通過平移和旋轉(zhuǎn)來調(diào)整相機(jī)和雙棱鏡之間的相對位姿，進(jìn)而改變單相機(jī)-雙棱鏡之間的有效測量域。