[發(fā)明專(zhuān)利]一種基于級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的道線(xiàn)檢測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201810521856.1
• 申請(qǐng)日: 2018-05-28
• 公開(kāi)（公告）號(hào): CN108830182B
• 公開(kāi)（公告）日: 2020-08-07
• 發(fā)明（設(shè)計(jì)）人: 陳衛(wèi)剛
• 申請(qǐng)（專(zhuān)利權(quán)）人: 浙江工商大學(xué)
• 主分類(lèi)號(hào): G06K9/00
• 分類(lèi)號(hào): G06K9/00;G06K9/62;G06N3/04
• 代理公司: 杭州求是專(zhuān)利事務(wù)所有限公司 33200
• 代理人: 傅朝棟;張法高

1.一種基于級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的道線(xiàn)檢測(cè)方法，級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)包括第一級(jí)卷積神經(jīng)網(wǎng)絡(luò)和第二級(jí)卷積神經(jīng)網(wǎng)絡(luò)，其特征在于，該方法包括以下步驟：

步驟一:以預(yù)設(shè)的水平和垂直方向的步長(zhǎng)掃描待檢測(cè)圖像，在每個(gè)掃描位置以多個(gè)尺度提取圖像塊，對(duì)所提取的圖像塊作縮放處理，使其具有與第一級(jí)卷積神經(jīng)網(wǎng)絡(luò)輸入層相同的尺寸，將縮放后的圖像塊輸入到第一級(jí)卷積神經(jīng)網(wǎng)絡(luò)，由第一級(jí)卷積神經(jīng)網(wǎng)絡(luò)的輸出層得到圖像塊所屬類(lèi)別的標(biāo)號(hào)和相應(yīng)的概率；本步驟中圖像塊所屬類(lèi)別分成道線(xiàn)標(biāo)記塊和非道線(xiàn)標(biāo)記塊兩類(lèi)；

步驟二:在被第一級(jí)卷積神經(jīng)網(wǎng)絡(luò)判定包含道線(xiàn)標(biāo)記的掃描位置，以多個(gè)偏移和尺度提取圖像塊，對(duì)所提取的圖像塊作縮放處理，使其具有與第二級(jí)卷積神經(jīng)網(wǎng)絡(luò)輸入層相同的尺寸，將縮放后的圖像塊輸入到第二級(jí)卷積神經(jīng)網(wǎng)絡(luò)，由第二級(jí)卷積神經(jīng)網(wǎng)絡(luò)的輸出層得到圖像塊所屬的類(lèi)別標(biāo)號(hào)以及概率；本步驟中圖像塊所屬類(lèi)別分成包含道線(xiàn)標(biāo)記的圖像塊和不包含道線(xiàn)標(biāo)記的圖像塊，且包含道線(xiàn)標(biāo)記的圖像塊還分為多個(gè)類(lèi)別，每個(gè)類(lèi)別代表道線(xiàn)在圖像塊中的不同方向；

步驟三:若在掃描位置(x,y)，對(duì)所有的偏移和尺度所提取的圖像塊，第二級(jí)卷積神經(jīng)網(wǎng)絡(luò)的輸出層都標(biāo)記為不包含道線(xiàn)標(biāo)記的圖像塊，則在后續(xù)的Hough變換過(guò)程中忽略該掃描位置；若只有一個(gè)圖像塊被判定為道線(xiàn)標(biāo)記塊，則計(jì)算該塊的中心位置坐標(biāo)，記錄輸出的類(lèi)別標(biāo)號(hào)，用于后續(xù)的Hough變換過(guò)程；若有多個(gè)圖像塊被判定為道線(xiàn)標(biāo)記塊，則取具有最大概率值的塊，計(jì)算該塊的中心位置坐標(biāo)，記錄輸出的類(lèi)別標(biāo)號(hào)；

步驟四:由級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)所得的所有道線(xiàn)標(biāo)記塊的中心位置坐標(biāo)和所屬類(lèi)別標(biāo)號(hào)通過(guò)Hough變換算法確定道線(xiàn)；

步驟一中所述的第一級(jí)卷積神經(jīng)網(wǎng)絡(luò)是一個(gè)二類(lèi)分類(lèi)器，用于訓(xùn)練該分類(lèi)器的樣本集包含正樣本和負(fù)樣本，正樣本是一個(gè)矩形的圖像塊，道線(xiàn)標(biāo)記占據(jù)圖像塊的中間部分；負(fù)樣本為不包含道線(xiàn)標(biāo)記區(qū)域的圖像塊；

步驟二或步驟三中所述的第二級(jí)卷積神經(jīng)網(wǎng)絡(luò)是一個(gè)多類(lèi)分類(lèi)器，用于訓(xùn)練該分類(lèi)器的樣本集包含道線(xiàn)標(biāo)記塊和非道線(xiàn)標(biāo)記塊，以人工的方式標(biāo)注道線(xiàn)標(biāo)記的四邊形區(qū)域，記連接四邊形上、下兩條邊的中點(diǎn)所得的直線(xiàn)與X軸的夾角為α，K為一個(gè)預(yù)設(shè)的正整數(shù)，將α的取值范圍劃分成K個(gè)區(qū)間，其中的第n個(gè)區(qū)間對(duì)應(yīng)的α取值范圍為：

[nπ/K,(n+1)π/K)

訓(xùn)練樣本集共包含K+1類(lèi)樣本，第0到K-1類(lèi)樣本為包含道線(xiàn)標(biāo)記的樣本，其中的第n類(lèi)樣本所包含的道線(xiàn)標(biāo)記其夾角α的值落在第n個(gè)區(qū)間；第K類(lèi)樣本為不包含道線(xiàn)標(biāo)記的圖像塊；

步驟一中所述在每個(gè)掃描位置以多個(gè)尺度提取圖像塊，其中：設(shè)(x,y)為掃描位置坐標(biāo)，記提取的圖像塊為I(x,y,w/s₁,h/s₁)，代表以(x,y)為左上角坐標(biāo)，w/s₁和h/s₁分別為寬和高的一個(gè)矩形圖像區(qū)域，其中w和h是預(yù)設(shè)的基準(zhǔn)窗口寬和高，s₁是預(yù)設(shè)的第一級(jí)卷積神經(jīng)網(wǎng)絡(luò)的尺度系數(shù)；

步驟二中所述以多個(gè)偏移和尺度提取圖像塊，設(shè)(x,y)為掃描位置坐標(biāo)，記提取的圖像塊為I(x-δ_x,y-δ_y,w/s_1ms₂,h/s_1ms₂)，其中w和h分別是預(yù)設(shè)的基準(zhǔn)窗口寬和高，δ_x和δ_y分別為X和Y方向的偏移；s_1m是步驟一中以多個(gè)尺度提取的圖像塊中，被第一級(jí)卷積神經(jīng)網(wǎng)絡(luò)識(shí)別為道線(xiàn)標(biāo)記塊且具有最大概率值的圖像塊所對(duì)應(yīng)的尺度；s₂是預(yù)設(shè)的第二級(jí)卷積神經(jīng)網(wǎng)絡(luò)的尺度系數(shù)；

所述的第一級(jí)或第二級(jí)卷積神經(jīng)網(wǎng)絡(luò)包括三個(gè)卷積層C1、C3和C5，二個(gè)池化層P2和P4、一個(gè)ReLU激活層R6、一個(gè)全連接層F7和一個(gè)用于分類(lèi)的Softmax層；

所述的第一級(jí)卷積神經(jīng)網(wǎng)絡(luò)采用28×28大小的圖像作為輸入，卷積層C1通過(guò)6個(gè)5×5的卷積核對(duì)輸入圖像進(jìn)行卷積運(yùn)算，產(chǎn)生6個(gè)24×24大小的特征圖；池化層P2對(duì)卷積層C1的特征圖的每個(gè)2×2區(qū)域進(jìn)行降采樣，且取區(qū)域內(nèi)的最大值作為池化層P2特征圖對(duì)應(yīng)單元的值，產(chǎn)生6個(gè)12×12特征圖；卷積層C3包含16個(gè)5×5的卷積核，每個(gè)卷積核包含多個(gè)卷積模板，由這些模板與池化層P2的特征圖進(jìn)行卷積運(yùn)算產(chǎn)生16個(gè)8×8的特征圖；池化層P4將卷積層C3的特征圖降采樣為4×4的特征圖；卷積層C5有84個(gè)4×4大小的卷積核，每個(gè)神經(jīng)元與池化層P4的全部16個(gè)4×4的鄰域相連，產(chǎn)生84個(gè)1×1的特征圖；ReLU激活層R6使用修正線(xiàn)性單元作為激活函數(shù)；全連接層F7包含2個(gè)神經(jīng)元，每個(gè)神經(jīng)元與上一層的神經(jīng)元進(jìn)行全連接；Softmax層包含二個(gè)神經(jīng)元，分別是輸入圖像在道線(xiàn)標(biāo)記塊和非道線(xiàn)標(biāo)記塊二個(gè)分類(lèi)上的概率；

所述的第二級(jí)卷積神經(jīng)網(wǎng)絡(luò)采用28×28大小的圖像作為輸入，卷積層C1通過(guò)20個(gè)5×5的卷積核對(duì)輸入圖像進(jìn)行卷積運(yùn)算，產(chǎn)生20個(gè)24×24大小的特征圖；池化層P2將產(chǎn)生20個(gè)12×12大小的特征圖；卷積層C3包含50個(gè)5×5的卷積核，產(chǎn)生50個(gè)8×8大小的特征圖；池化層P4將卷積層C3的8×8的特征圖降采樣為4×4的特征圖；卷積層C5有500個(gè)4×4大小的卷積核，每個(gè)神經(jīng)元與池化層P4的全部50個(gè)4×4的鄰域相連，產(chǎn)生500個(gè)1×1的特征圖；ReLU激活層R6產(chǎn)生與卷積層C5同樣數(shù)目的神經(jīng)元；全連接層F7包含的神經(jīng)元的數(shù)目等于用于訓(xùn)練第二級(jí)卷積神經(jīng)網(wǎng)絡(luò)的樣本類(lèi)別數(shù)，每個(gè)神經(jīng)元與上一層的神經(jīng)元進(jìn)行全連接；Softmax層包含的神經(jīng)元數(shù)目等于全連接層的神經(jīng)元數(shù)目，分別輸出圖像塊在每一個(gè)分類(lèi)上的概率；

步驟四中所述由級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)所得的所有道線(xiàn)標(biāo)記塊的中心位置坐標(biāo)和所屬類(lèi)別標(biāo)號(hào)通過(guò)Hough變換算法確定道線(xiàn)，包括：

設(shè)r為坐標(biāo)原點(diǎn)到道線(xiàn)所在直線(xiàn)的垂線(xiàn)長(zhǎng)度，θ為所述垂線(xiàn)與X軸的夾角，道線(xiàn)所在直線(xiàn)上所有的點(diǎn)(x,y)滿(mǎn)足如下的方程：

r＝xcosθ+ysinθ

由第二級(jí)卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)所得的每個(gè)道線(xiàn)標(biāo)記塊的中心坐標(biāo)按上述公式映射成r-θ平面的一條曲線(xiàn)；根據(jù)第二級(jí)卷積神經(jīng)網(wǎng)絡(luò)輸出的標(biāo)號(hào)值確定θ的取值范圍，以θ為自變量計(jì)算對(duì)應(yīng)的r值；

由級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)所得的所有道線(xiàn)標(biāo)記塊的中心坐標(biāo)被映射成r-θ平面中的多條曲線(xiàn)，由于圖像平面中同一條直線(xiàn)上的點(diǎn)有相同的r和θ值，所以這些曲線(xiàn)將在r-θ平面中交于一點(diǎn)，通過(guò)檢測(cè)r-θ平面中的極大值點(diǎn)，得到直線(xiàn)的r和θ值，由此確定與直線(xiàn)對(duì)應(yīng)的道線(xiàn)；

步驟一中，若對(duì)所有的尺度，在掃描位置(x,y)所提取的圖像塊都被判定為非道線(xiàn)標(biāo)記塊，則后續(xù)的處理過(guò)程將忽略該掃描位置；若有一個(gè)或多于一個(gè)尺度的圖像塊被第一級(jí)卷積神經(jīng)網(wǎng)絡(luò)判定為道線(xiàn)標(biāo)記塊，則記錄具有最高概率值的圖像塊所對(duì)應(yīng)的尺度為s_1m，然后進(jìn)行步驟二。