[發(fā)明專利]一種3D成像視覺引導(dǎo)系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201811284401.9
• 申請(qǐng)日: 2018-10-31
• 公開（公告）號(hào): CN109495732A
• 公開（公告）日: 2019-03-19
• 發(fā)明（設(shè)計(jì)）人: 孫懷啟
• 申請(qǐng)（專利權(quán)）人: 昆山睿力得軟件技術(shù)有限公司
• 主分類號(hào): H04N13/239
• 分類號(hào): H04N13/239;G06K9/60;G06K9/62
• 代理公司: 南京縱橫知識(shí)產(chǎn)權(quán)代理有限公司 32224
• 代理人: 母秋松;董建林

本發(fā)明公開了一種3D成像視覺引導(dǎo)系統(tǒng)，深度與RGB圖像獲取模塊、立體成像模塊、圖像匹配模塊、三維空間重構(gòu)模塊、目標(biāo)物辨識(shí)模塊、坐標(biāo)輸出模塊。本發(fā)明提供的一種3D成像視覺引導(dǎo)系統(tǒng)，完成目標(biāo)識(shí)別并輸出追蹤信息，實(shí)現(xiàn)室內(nèi)導(dǎo)航、尋物以及復(fù)雜環(huán)境下的小空間搜救任務(wù)，本設(shè)計(jì)實(shí)現(xiàn)了匹配優(yōu)化，使得引導(dǎo)結(jié)果更好。

技術(shù)領(lǐng)域

本發(fā)明涉及一種3D成像視覺引導(dǎo)系統(tǒng)，屬于圖像重構(gòu)處理技術(shù)領(lǐng)域。

背景技術(shù)

目前，對(duì)于室內(nèi)環(huán)境的范圍測控技術(shù)主要停留在利用較為簡單的距離傳感器階段。例如超聲波傳感器、紅外線傳感器等，這幾種傳感儀器雖然設(shè)計(jì)較為簡單，但卻具有精度不高、反饋信息量小等無法忽視問題。

現(xiàn)有視覺引導(dǎo)技術(shù)主要采用研究較成熟的二維平面導(dǎo)航，這種技術(shù)不足以滿足很多實(shí)用需求，無法用于復(fù)雜地質(zhì)環(huán)境室內(nèi)環(huán)境搜救、近距離打擊等任務(wù)。

發(fā)明內(nèi)容

目的：為了克服現(xiàn)有技術(shù)中存在的不足，本發(fā)明提供一種3D成像視覺引導(dǎo)系統(tǒng)。

技術(shù)方案：為解決上述技術(shù)問題，本發(fā)明采用的技術(shù)方案為：

一種3D成像視覺引導(dǎo)系統(tǒng)，包括：深度與RGB圖像獲取模塊、立體成像模塊、圖像匹配模塊、三維空間重構(gòu)模塊、目標(biāo)物辨識(shí)模塊、坐標(biāo)輸出模塊。

作為優(yōu)選方案，所述深度與RGB圖像獲取模塊，用于采用景深攝像頭以及RGB攝像頭，模式定義為640x320，每秒30幀獲得圖像調(diào)用OpenNI函數(shù)最終獲取圖像信息。

作為優(yōu)選方案，所述立體成像模塊，用于采用雙目立體成像方法對(duì)景深攝像頭以及RGB攝像頭獲取圖像信息進(jìn)行像素匹配。

作為優(yōu)選方案，所述圖像匹配模塊，用于利用極點(diǎn)極線的方法，對(duì)極幾何運(yùn)算后得到左投影面內(nèi)坐標(biāo)到右投影面的轉(zhuǎn)換矩陣，將景深攝像頭獲得像素與RGB攝像頭獲得像素進(jìn)行重合。

作為優(yōu)選方案，所述三維空間重構(gòu)模塊，用于將景深攝像頭、RGB攝像頭得的像素信息，一一對(duì)應(yīng)，再對(duì)深度信息進(jìn)行中值濾波．然后在OpenGL緩沖區(qū)繪制所有點(diǎn)的坐標(biāo)，最后在每個(gè)有效點(diǎn)上賦予其對(duì)應(yīng)的紋理參數(shù)，再結(jié)合鼠標(biāo)響應(yīng)就能多角度觀察三維環(huán)境。

作為優(yōu)選方案，所述目標(biāo)物辨識(shí)模塊，用于將采集的RGB圖像轉(zhuǎn)化為灰度圖像，在圖像處理過程中因采集的三通道RGB圖像，應(yīng)用OpenCV函數(shù)處理對(duì)象為灰度圖像；依據(jù)窗口尺寸要求調(diào)整圖像大小；對(duì)灰度圖像進(jìn)行直方圖均衡；對(duì)均衡過的灰度圖像采用Haar分類器進(jìn)行模式識(shí)別；在圖中標(biāo)注識(shí)別結(jié)果，對(duì)于識(shí)別出的目標(biāo)物，在灰度圖像上以相應(yīng)尺寸的正方形標(biāo)出。

作為優(yōu)選方案，所述坐標(biāo)輸出模塊，用于以識(shí)別效果中的矩形區(qū)域?yàn)閰⒖紝?duì)象，選取景深圖像對(duì)應(yīng)的矩形區(qū)域中心5x5的方形采樣區(qū)；發(fā)景深圖像的像素信息為圖像坐標(biāo)，將圖像坐標(biāo)轉(zhuǎn)換為相對(duì)攝像頭的實(shí)際空間坐標(biāo)，獲得每個(gè)像素點(diǎn)的相對(duì)鏡頭的真實(shí)空間坐標(biāo)；計(jì)算采樣區(qū)所有像素點(diǎn)的深度均值，將與均值相差超20%的噪點(diǎn)剔除，計(jì)算剩余正常像素點(diǎn)的深度均值Z；計(jì)算剩余正常像素點(diǎn)其余方向的坐標(biāo)均值X、Y；獲得目標(biāo)物在相對(duì)鏡頭的空間坐標(biāo)系中的坐標(biāo)(X，Y，Z)并向控制臺(tái)輸出。

有益效果：本發(fā)明提供的一種3D成像視覺引導(dǎo)系統(tǒng)，完成目標(biāo)識(shí)別并輸出追蹤信息，實(shí)現(xiàn)室內(nèi)導(dǎo)航、尋物以及復(fù)雜環(huán)境下的小空間搜救任務(wù)，本設(shè)計(jì)實(shí)現(xiàn)了匹配優(yōu)化，使得引導(dǎo)結(jié)果更好。

附圖說明

圖1為本發(fā)明的結(jié)構(gòu)示意圖。

具體實(shí)施方式

下面結(jié)合附圖對(duì)本發(fā)明作更進(jìn)一步的說明。

如圖1所示，一種3D成像視覺引導(dǎo)系統(tǒng)，包括：深度與RGB圖像獲取模塊、立體成像模塊、圖像匹配模塊、三維空間重構(gòu)模塊、目標(biāo)物辨識(shí)模塊、坐標(biāo)輸出模塊。