[發(fā)明專利]一種基于卷積網(wǎng)絡(luò)的交通信號(hào)燈識(shí)別算法

在審

• 申請(qǐng)?zhí)枺?/td>: 201710245522.1
• 申請(qǐng)日: 2017-04-14
• 公開（公告）號(hào): CN107038420A
• 公開（公告）日: 2017-08-11
• 發(fā)明（設(shè)計(jì)）人: 余貴珍;雷傲;秦洪懋;張釗;王云鵬
• 申請(qǐng)（專利權(quán)）人: 北京航空航天大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62
• 代理公司: 北京華仲龍騰專利代理事務(wù)所(普通合伙)11548
• 代理人: 黃玉玨

1.一種基于卷積網(wǎng)絡(luò)的交通信號(hào)燈識(shí)別算法，包含原始圖像采集與處理模塊、輸入圖像特征提取模塊、候選區(qū)域獲取模塊、交通信號(hào)燈候選區(qū)域獲取模塊、交通信號(hào)燈檢測(cè)模塊、顏色與形狀識(shí)別模塊以及識(shí)別結(jié)果輸出模塊，其特征在于，原始圖像采集與處理模塊，用于采集車輛行駛前方的圖像數(shù)據(jù)，并對(duì)圖像分辨率進(jìn)行處理，得到RGB色彩空間的輸入圖像；輸入圖像特征提取模塊，用于依靠多層卷積特征提取器從所述的輸入圖像中提取特征，得到卷積特征圖；候選區(qū)域獲取模塊，靠滑動(dòng)窗口從所述的卷積特征圖中獲取信息，并將滑動(dòng)窗口與所述的輸入圖像中的某一塊區(qū)域建立映射關(guān)系，以此得到圖像區(qū)域集合，同時(shí)獲取所述圖像區(qū)域中交通信號(hào)燈區(qū)域的精確位置，最終從所述的圖像區(qū)域集合中挑選出最有可能包含交通信號(hào)燈的圖像區(qū)域，生成候選區(qū)域集合；交通信號(hào)燈候選區(qū)域獲取模塊，用于從候選區(qū)域所對(duì)應(yīng)的滑動(dòng)窗口中獲取信息，然后利用全連接與奇異值分解得到每個(gè)候選區(qū)域的特征向量，進(jìn)而從中分離出交通信號(hào)燈候選區(qū)域集合；交通信號(hào)燈檢測(cè)模塊，用于通過位置回歸器來(lái)確定所述的交通信號(hào)燈候選區(qū)域在所述輸入圖像中的精確位置，結(jié)合候選區(qū)域獲取模塊，最終得到交通信號(hào)燈區(qū)域在所述的輸入圖像中的精確位置；顏色與形狀識(shí)別模塊，用于將所述的交通信號(hào)燈區(qū)域從RGB色彩空間轉(zhuǎn)化為HSV色彩空間，分割出交通信號(hào)燈背景板的二值圖像，并根據(jù)交通信號(hào)燈背景板的特征、交通信號(hào)燈發(fā)光部分的特征以及交通信號(hào)燈一級(jí)分類，確定交通信號(hào)燈的顏色與形狀，識(shí)別結(jié)果輸出模塊，用于產(chǎn)生相應(yīng)的語(yǔ)音、文字等提示信息，輸出識(shí)別結(jié)果。

2.根據(jù)權(quán)利要求1所述的基于卷積網(wǎng)絡(luò)的交通信號(hào)燈識(shí)別系統(tǒng)，其特征在于，所述多層卷積特征提取器主要包含卷積、特征抽取、網(wǎng)絡(luò)激活三個(gè)操作，采用以下公式對(duì)所述輸入圖像進(jìn)行卷積操作：

其中代表第l個(gè)卷積層的第j個(gè)特征圖數(shù)值，w代表卷積參數(shù)，b代表偏置參數(shù)，f()代表網(wǎng)絡(luò)激活函數(shù)，采用以下公式對(duì)所述輸入圖像進(jìn)行特征抽取操作：

其中代表第l個(gè)卷積層的第j個(gè)特征圖數(shù)值，w代表卷積參數(shù)，b代表偏置參數(shù)，f()代表網(wǎng)絡(luò)激活函數(shù)，down()代表最大值提取操作，采用以下公式對(duì)所述輸入圖像進(jìn)行網(wǎng)絡(luò)激活：

f(x)＝max(0，x)。

3.根據(jù)權(quán)利要求1所述的基于卷積網(wǎng)絡(luò)的交通信號(hào)燈識(shí)別算法，其特征在于，確定所述的圖像區(qū)域中交通信號(hào)燈區(qū)域的精確位置采用如下公式：

其中x，x_a分別表示交通信號(hào)燈區(qū)域的中點(diǎn)的x軸坐標(biāo)值，圖像區(qū)域的中點(diǎn)的x軸坐標(biāo)值，w_a，t_x為坐標(biāo)預(yù)測(cè)參數(shù)，y、w、h三個(gè)參數(shù)組則分別代表了縱軸、寬、高。

4.根據(jù)權(quán)利要求1所述的基于卷積網(wǎng)絡(luò)的交通信號(hào)燈識(shí)別系統(tǒng)，其特征在于，采用以下公式完成奇異值分解：

W≈U∑_tV^T

其中W是權(quán)重矩陣，U是左奇異向量，∑_t是對(duì)角矩陣，V^T是右奇異向量，采用以下公式得到所述交通信號(hào)燈的候選區(qū)域在輸入圖像中的精確位置：

其中，P表示交通信號(hào)燈的候選區(qū)域在輸入圖像中的粗略位置，F(xiàn)表示交通信號(hào)燈的候選區(qū)域在輸入圖像中的精確位置，x，y，w，h分別表示交通信號(hào)燈的候選區(qū)域的中點(diǎn)x、y、長(zhǎng)與度，d_*(P)表示位置調(diào)整函數(shù)。

5.根據(jù)權(quán)利要求1所述的基于卷積網(wǎng)絡(luò)的交通信號(hào)燈識(shí)別算法，其特征在于，從RGB色彩空間轉(zhuǎn)化為HSV色彩空間采用如下公式：

2