[發(fā)明專利]一種基于雙目視覺(jué)的障礙物占用消防通道的檢測(cè)與識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011276966.X
• 申請(qǐng)日: 2020-11-16
• 公開（公告）號(hào): CN112418040B
• 公開（公告）日: 2022-08-26
• 發(fā)明（設(shè)計(jì)）人: 何利文;包躍
• 申請(qǐng)（專利權(quán)）人: 南京郵電大學(xué)
• 主分類號(hào): G06V20/58
• 分類號(hào): G06V20/58;G06T5/00;G06T7/80
• 代理公司: 南京蘇高專利商標(biāo)事務(wù)所(普通合伙) 32204
• 代理人: 曹坤

1.一種基于雙目視覺(jué)的障礙物占用消防通道的檢測(cè)與識(shí)別方法，其特征在于，具體步驟包括如下：

步驟(1.1)、通過(guò)左右雙目攝像頭獲取消防通道的兩個(gè)圖像：即左圖像L1和右圖像R1；

步驟(1.2)、先對(duì)左右雙目攝像頭進(jìn)行標(biāo)定，獲得攝像頭的外參數(shù)E；再對(duì)獲取的左右兩個(gè)圖像進(jìn)行標(biāo)定，得到雙目攝像頭各自的內(nèi)參數(shù)矩陣和對(duì)應(yīng)的五個(gè)畸變系數(shù)(D＝(K1,K2,P1,P2,K3))；

步驟(1.3)、對(duì)左右雙目攝像頭拍到的視頻的每一幀利用得到的內(nèi)參數(shù)矩陣和外參數(shù)E對(duì)左圖像L1和右圖像R1進(jìn)行校正，得到校正后的左圖像L2和右圖像R2；

步驟(1.4)、對(duì)校正后的左圖像L2和右圖像R2進(jìn)行匹配，得到左右圖像的視差圖D，再通過(guò)視差與深度轉(zhuǎn)化公式計(jì)算出深度圖像；

其中，根據(jù)得到的視差圖，通過(guò)平行雙目視覺(jué)的幾何關(guān)系，推導(dǎo)出攝像頭視差與深度的轉(zhuǎn)換公式，其轉(zhuǎn)換公式如下：

式中，z表示深度圖，f表示歸一化的相機(jī)焦距，b表示左右相機(jī)的基線，d表示視差，d＝x_l-x_r，即左相機(jī)像素點(diǎn)(Xl,Yl)和右相機(jī)中對(duì)應(yīng)點(diǎn)(Xr，Yr)的關(guān)系；利用轉(zhuǎn)換公式，將對(duì)應(yīng)的左右攝像頭的焦距，基線及求得的左右攝像頭的視差帶入到轉(zhuǎn)換公式中，得出深度圖z；

步驟(1.5)、使用LSD直線檢測(cè)算法，利用圖像中的梯度信息和行列線，對(duì)圖像中梯度變化較大的像素點(diǎn)集，進(jìn)行直線檢測(cè)，進(jìn)而得到消防通道路面兩邊的道路線條，從而劃出兩條道路線條的內(nèi)測(cè)區(qū)域A；

步驟(1.6)、對(duì)Faster-RCNN網(wǎng)絡(luò)進(jìn)行改進(jìn)：將Faster-RCNN網(wǎng)絡(luò)中的VGG16替換成ResNet；采用Soft-NMS代替之前的NMS；

將獲得的左攝像頭的圖像輸入到改進(jìn)后的Faster-RCNN網(wǎng)絡(luò)模型中，通過(guò)rpn網(wǎng)絡(luò)生成候選框，再通過(guò)分類損失和邊界框回歸損失得到障礙物在候選框中的候選框坐標(biāo)信息和類別信息；

步驟(1.7)、將獲得的深度圖像中消防通道異物窗口的中心點(diǎn)的深度值作為占用消防通道的每個(gè)障礙物的距離，從而獲得障礙物的距離信息。

2.根據(jù)權(quán)利要求1所述的一種基于雙目視覺(jué)的障礙物占用消防通道的檢測(cè)與識(shí)別方法，其特征在于，在步驟(1.2)中，所述的畸變系數(shù)包括：徑向畸變和切向畸變；

其中，所述徑向畸變包括桶形畸變和枕形畸變；通過(guò)如下公式修正來(lái)消除徑向畸變：

x_corr＝x_dis(1+k₁r²+k₂r⁴+k₃r⁶)

y_corr＝y(tǒng)_dis(1+k₁r²+k₂r⁴+k₃r⁶)

式中，x_dis和y_dis表示有畸變的坐標(biāo)，x_corr和y_corr表示修復(fù)后的坐標(biāo)，k₁，k₂，k₃表示徑向畸變參數(shù)，p1，p2表示切向畸變參數(shù)。

3.根據(jù)權(quán)利要求1所述的一種基于雙目視覺(jué)的障礙物占用消防通道的檢測(cè)與識(shí)別方法，其特征在于，在步驟(1.6)中，對(duì)Faster-RCNN網(wǎng)絡(luò)進(jìn)行改進(jìn)，其具體操作方法如下：一、采用特征網(wǎng)絡(luò)，將Faster-RCNN中的VGG16替換成ResNet；采用后處理Soft-NMS代替后處理NMS；二、采用卷積核，將原來(lái)3*3的卷積核改成5*5的卷積核。

4.根據(jù)權(quán)利要求1所述的一種基于雙目視覺(jué)的障礙物占用消防通道的檢測(cè)與識(shí)別方法，其特征在于，在步驟(1.7)中，所述獲得障礙物的距離信息是指：對(duì)于占用消防通道的障礙物，通過(guò)目標(biāo)跟蹤，判斷其是否長(zhǎng)時(shí)間占用消防通道，如是，則發(fā)出相關(guān)警告；如否，則判斷其是偶爾占用消防通道。