[發(fā)明專(zhuān)利]基于立體視覺(jué)的行人檢測(cè)與測(cè)距方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201710149283.X
• 申請(qǐng)日: 2017-03-14
• 公開(kāi)（公告）號(hào): CN106952274B
• 公開(kāi)（公告）日: 2019-06-21
• 發(fā)明（設(shè)計(jì)）人: 宋彬;楊榮堅(jiān);秦浩
• 申請(qǐng)（專(zhuān)利權(quán)）人: 西安電子科技大學(xué)
• 主分類(lèi)號(hào): G06T7/11
• 分類(lèi)號(hào): G06T7/11;G06K9/00;G01C3/00
• 代理公司: 陜西電子工業(yè)專(zhuān)利中心 61205
• 代理人: 田文英;王品華

1.一種基于立體視覺(jué)的行人檢測(cè)與測(cè)距方法，包括如下步驟：

(1)獲取立體視覺(jué)圖像：

使用雙目攝像頭拍攝待檢測(cè)與測(cè)距的包含行人通過(guò)的監(jiān)控場(chǎng)景，得到該場(chǎng)景的立體視覺(jué)左圖像和立體視覺(jué)右圖像；

(2)構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)：

構(gòu)建一個(gè)包含8個(gè)卷積層、5個(gè)抽取層和1個(gè)全連接層的卷積神經(jīng)網(wǎng)絡(luò)；

(3)計(jì)算立體視覺(jué)左圖像的預(yù)測(cè)值：

(3a)將立體視覺(jué)左圖像輸入到卷積神經(jīng)網(wǎng)絡(luò)中，輸出尺寸為980×1個(gè)像素的特征向量；

(3b)將立體視覺(jué)左圖像均勻劃分為14×14個(gè)正方形區(qū)域；

(3c)將卷積神經(jīng)網(wǎng)絡(luò)輸出的980×1個(gè)像素的特征向量中的所有的向量元素，均勻分配給立體視覺(jué)左圖像的每個(gè)正方形區(qū)域，每個(gè)正方形區(qū)域得到5個(gè)向量元素；將每個(gè)正方形區(qū)域的5個(gè)向量元素，依次作為該區(qū)域的行人存在概率預(yù)測(cè)值、行人橫坐標(biāo)預(yù)測(cè)值、行人縱坐標(biāo)預(yù)測(cè)值、行人寬度預(yù)測(cè)值、行人高度預(yù)測(cè)值；

(4)判斷立體視覺(jué)左圖像的每個(gè)正方形區(qū)域的行人存在概率預(yù)測(cè)值是否大于0.5，若是，則認(rèn)為該區(qū)域存在行人，執(zhí)行步驟(5)；否則，認(rèn)為該區(qū)域不存在行人，執(zhí)行步驟(6)；

(5)對(duì)預(yù)測(cè)值做去歸一化處理：

將存在行人的正方形區(qū)域的行人橫坐標(biāo)預(yù)測(cè)值、行人縱坐標(biāo)預(yù)測(cè)值、行人寬度預(yù)測(cè)值、行人高度預(yù)測(cè)值分別做去歸一化處理，得到用于確定行人位置的橫坐標(biāo)值和縱坐標(biāo)值、行人的寬度值和行人的高度值；

(6)計(jì)算匹配代價(jià)值：

(6a)將立體視覺(jué)左圖像中每個(gè)像素點(diǎn)的視差值的取值范圍設(shè)置為0到255個(gè)灰度值；

(6b)按照下式，計(jì)算立體視覺(jué)左圖像中每個(gè)像素點(diǎn)分別取0到255灰度值范圍內(nèi)的每個(gè)視差值的匹配代價(jià)值：

其中，C_p表示立體視覺(jué)左圖像中每個(gè)像素點(diǎn)分別取0到255灰度值范圍內(nèi)的各個(gè)視差值的匹配代價(jià)值，d_p表示立體視覺(jué)左圖像中第p個(gè)像素點(diǎn)的視差值，∑表示求和操作，u表示立體視覺(jué)左圖像中第p個(gè)像素點(diǎn)的5×5個(gè)像素鄰域中的像素點(diǎn)，∈表示屬于符號(hào)，N表示立體視覺(jué)左圖像中第p個(gè)像素點(diǎn)的5×5個(gè)像素的鄰域，|·|表示取絕對(duì)值操作，I_L表示立體視覺(jué)左圖像，x_u表示立體視覺(jué)左圖像中第p個(gè)像素點(diǎn)的5×5個(gè)像素鄰域中的像素點(diǎn)u的橫坐標(biāo)值，y_u表示立體視覺(jué)左圖像中第p個(gè)像素點(diǎn)的5×5個(gè)像素鄰域中的像素點(diǎn)u的縱坐標(biāo)值，I_R表示立體視覺(jué)右圖像；

(7)選擇最優(yōu)視差值：

對(duì)立體視覺(jué)左圖像中每個(gè)像素點(diǎn)，從0到255灰度值范圍內(nèi)的各個(gè)視差值中，選擇使該像素點(diǎn)的匹配代價(jià)值最小時(shí)的視差值作為最優(yōu)視差值；

(8)按照下式，計(jì)算立體視覺(jué)左圖像中存在行人的區(qū)域中行人離攝像頭的距離：

其中，Z_i表示存在行人的第i個(gè)區(qū)域中行人離攝像頭的距離，f表示雙目攝像頭的焦距，×表示相乘操作，T表示雙目攝像頭的中心距，D_i表示存在行人的第i個(gè)區(qū)域中行人位置像素點(diǎn)的最優(yōu)視差值；

(9)輸出立體視覺(jué)左圖像中存在行人的區(qū)域中的行人離攝像頭的距離。

2.根據(jù)權(quán)利要求1所述的基于立體視覺(jué)的行人檢測(cè)與測(cè)距方法，其特征在于：步驟(2)中所述構(gòu)建的包含8個(gè)卷積層、5個(gè)抽取層和1個(gè)全連接層的卷積神經(jīng)網(wǎng)絡(luò)的14層網(wǎng)絡(luò)層連接關(guān)系是，按照第1個(gè)卷積層、第1個(gè)抽取層、第2個(gè)卷積層、第2個(gè)抽取層、第3個(gè)卷積層、第3個(gè)抽取層、第4個(gè)卷積層、第4個(gè)抽取層、第5個(gè)卷積層、第5個(gè)抽取層、第6個(gè)卷積層、第7個(gè)卷積層、第8個(gè)卷積層、全連接層的次序依次相連。