[發(fā)明專利]一種基于全景與單目視覺的混合視覺定位方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201811017301.X
• 申請(qǐng)日: 2018-09-01
• 公開（公告）號(hào): CN109345587B
• 公開（公告）日: 2022-02-22
• 發(fā)明（設(shè)計(jì)）人: 蔡成濤;梁鑫;翁翔宇;孟海洋;喬人杰
• 申請(qǐng)（專利權(quán)）人: 哈爾濱工程大學(xué)
• 主分類號(hào): G06T7/70
• 分類號(hào): G06T7/70;G06T7/80
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明屬于機(jī)器視覺領(lǐng)域，公開了一種基于全景與單目視覺的混合視覺定位方法，包含如下步驟：組成混合垂直立體視覺，使用平面棋盤格標(biāo)定，得到全景相機(jī)與普通視覺相機(jī)的內(nèi)部參數(shù)；在混合垂直立體視覺中，統(tǒng)一化為球面統(tǒng)一投影模型，根據(jù)全景與普通視覺的共同方位對(duì)全景有效坐標(biāo)系轉(zhuǎn)換得到新的全景方位坐標(biāo)系；根據(jù)立體標(biāo)定結(jié)果，得到旋轉(zhuǎn)矩陣與平移矩陣；利用旋轉(zhuǎn)矩陣與平移矩陣對(duì)混合垂直立體視覺立體校正，得到垂直視差，再根據(jù)混合垂直立體視覺系統(tǒng)的三角測(cè)量公式確定目標(biāo)點(diǎn)的三維位置坐標(biāo)信息。本發(fā)明保證全景視覺的大視場(chǎng)，彌補(bǔ)了全景相機(jī)分辨率低且不均勻的劣勢(shì)，解決了混合視覺中立體標(biāo)定的問題并將混合視覺定位通用化。

技術(shù)領(lǐng)域

本發(fā)明屬于機(jī)器視覺領(lǐng)域，尤其涉及一種基于全景與單目視覺的混合視覺定位方法。

背景技術(shù)

機(jī)器視覺是人工智能正在快速發(fā)展的一個(gè)分支。簡(jiǎn)單說來，機(jī)器視覺就是用機(jī)器代替人眼來做測(cè)量和判斷。機(jī)器視覺系統(tǒng)是通過機(jī)器視覺產(chǎn)品即圖像攝取裝置，分CMOS和CCD兩種將被攝取目標(biāo)轉(zhuǎn)換成圖像信號(hào)，傳送給專用的圖像處理系統(tǒng)，得到被攝目標(biāo)的形態(tài)信息，根據(jù)像素分布和亮度、顏色等信息，轉(zhuǎn)變成數(shù)字化信號(hào)；圖像系統(tǒng)對(duì)這些信號(hào)進(jìn)行各種運(yùn)算來抽取目標(biāo)的特征，進(jìn)而根據(jù)判別的結(jié)果來控制現(xiàn)場(chǎng)的設(shè)備動(dòng)作。機(jī)器視覺是一項(xiàng)綜合技術(shù)，包括圖像處理、機(jī)械工程技術(shù)、控制、電光源照明、光學(xué)成像、傳感器、模擬與數(shù)字視頻技術(shù)、計(jì)算機(jī)軟硬件技術(shù)圖像增強(qiáng)和分析算法、圖像卡、I/O卡等。一個(gè)典型的機(jī)器視覺應(yīng)用系統(tǒng)包括圖像捕捉、光源系統(tǒng)、圖像數(shù)字化模塊、數(shù)字圖像處理模塊、智能判斷決策模塊和機(jī)械控制執(zhí)行模塊。機(jī)器視覺系統(tǒng)最基本的特點(diǎn)就是提高生產(chǎn)的靈活性和自動(dòng)化程度。在一些不適于人工作業(yè)的危險(xiǎn)工作環(huán)境或者人工視覺難以滿足要求的場(chǎng)合，常用機(jī)器視覺來替代人工視覺。同時(shí)，在大批量重復(fù)性工業(yè)生產(chǎn)過程中，用機(jī)器視覺檢測(cè)方法可以大大提高生產(chǎn)的效率和自動(dòng)化程度。如今，中國正成為世界機(jī)器視覺發(fā)展最活躍的地區(qū)之一，應(yīng)用范圍涵蓋了工業(yè)、農(nóng)業(yè)、醫(yī)藥、軍事、航天、氣象、天文、公安、交通、安全、科研等國民經(jīng)濟(jì)的各個(gè)行業(yè)。其重要原因是中國已經(jīng)成為全球制造業(yè)的加工中心，高要求的零部件加工及其相應(yīng)的先進(jìn)生產(chǎn)線，使許多具有國際先進(jìn)水平的機(jī)器視覺系統(tǒng)和應(yīng)用經(jīng)驗(yàn)也進(jìn)入了中國。

機(jī)器視覺主要通過模擬人的視覺功能從客觀圖像中提取周圍信息，加以處理或計(jì)算，最終用于實(shí)際檢測(cè)、測(cè)量和控制。雙目立體視覺是機(jī)器視覺的一種重要形式，它是基于視差原理并利用成像設(shè)備從不同位置獲取被測(cè)物體的兩幅圖像，通過計(jì)算圖像對(duì)應(yīng)點(diǎn)間的位置偏差，來獲取物體三維信息的方法。經(jīng)過幾十年來的發(fā)展，立體視覺在機(jī)器人視覺、軍事應(yīng)用和航空測(cè)繪等眾多領(lǐng)域得到廣泛的應(yīng)用。

申請(qǐng)?zhí)朇N201410373212.4的專利公開了一種基于馬步測(cè)度的Harris？SIFT雙目視覺定位方法，用于無人水下航行器(UUV)回收過程中的實(shí)時(shí)雙目視覺定位。基于雙目立體視覺的模型原理，利用SIFT算法從左右攝像機(jī)分別獲取的圖像中檢測(cè)目標(biāo)，并獲取匹配目標(biāo)的特征點(diǎn)，對(duì)兩幅圖像中目標(biāo)物體的坐標(biāo)標(biāo)定，通過計(jì)算可得到目標(biāo)物體的深度距離，還原其三維信息。針對(duì)UUV運(yùn)動(dòng)的海洋環(huán)境的特點(diǎn)，本發(fā)明提出了一種基于采用馬步距離做測(cè)度的Harris？SIFT算子雙目視覺算法，提高了圖像匹配的運(yùn)算效率和應(yīng)用水平的實(shí)時(shí)性，并且可以保證一定的精度。但該算法定位精度較低，不能用于精密測(cè)量領(lǐng)域。

發(fā)明內(nèi)容

本發(fā)明的目的在于公開視場(chǎng)大，細(xì)節(jié)處理效果好的一種基于全景與單目視覺的混合視覺定位方法。

本發(fā)明的目的是這樣實(shí)現(xiàn)的：

一種基于全景與單目視覺的混合視覺定位方法，包含如下步驟：

步驟(1)：將全景相機(jī)與普通視覺相機(jī)垂直放置組成混合垂直立體視覺，使用平面棋盤格對(duì)全景與普通視覺分別標(biāo)定，得到全景相機(jī)與普通視覺相機(jī)的內(nèi)部參數(shù)：