[發(fā)明專利]一種基于深度神經(jīng)網(wǎng)絡(luò)的視覺(jué)場(chǎng)景識(shí)別系統(tǒng)及方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201810472012.2
• 申請(qǐng)日: 2018-05-16
• 公開(kāi)（公告）號(hào): CN108921013B
• 公開(kāi)（公告）日: 2020-08-18
• 發(fā)明（設(shè)計(jì)）人: 繆其恒;王江明;許煒
• 申請(qǐng)（專利權(quán)）人: 浙江零跑科技有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06N3/04;G06N3/08
• 代理公司: 杭州杭誠(chéng)專利事務(wù)所有限公司 33109
• 代理人: 尉偉敏

1.一種基于深度神經(jīng)網(wǎng)絡(luò)的視覺(jué)場(chǎng)景識(shí)別系統(tǒng)，其特征在于，包括：

車載視覺(jué)系統(tǒng)，用于采集車輛前視視覺(jué)圖像；

離線訓(xùn)練模塊，用于利用深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)從車載視覺(jué)系統(tǒng)采集的車輛前視視覺(jué)圖像中進(jìn)行樣本采集，進(jìn)行標(biāo)注，生成樣本標(biāo)簽，并進(jìn)行神經(jīng)網(wǎng)絡(luò)參數(shù)分步訓(xùn)練；所述深度卷積神經(jīng)網(wǎng)絡(luò)由共享兩層淺層卷積特征的三分支分類網(wǎng)絡(luò)構(gòu)成，通過(guò)樣本和訓(xùn)練任務(wù)訓(xùn)練網(wǎng)絡(luò)參數(shù)；以及，

在線分析模塊，采用網(wǎng)絡(luò)壓縮和分時(shí)并行分析策略并利用所述離線訓(xùn)練模塊訓(xùn)練后的深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行實(shí)時(shí)場(chǎng)景分析，輸出車載視覺(jué)系統(tǒng)所處道路場(chǎng)景的天時(shí)、天候以及場(chǎng)景異常狀態(tài)；

所述離線訓(xùn)練模塊包括樣本采集與標(biāo)注單元、神經(jīng)網(wǎng)絡(luò)參數(shù)分步訓(xùn)練單元；

所述樣本采集與標(biāo)注單元，用于離線采集車輛前視視覺(jué)圖像，提取離散時(shí)序訓(xùn)練樣本，利用空間變換，進(jìn)行樣本擴(kuò)充；均衡各任務(wù)各類別樣本分布，進(jìn)行標(biāo)注，生成樣本標(biāo)簽；

所述任務(wù)包括：天時(shí)識(shí)別、天候識(shí)別以及場(chǎng)景異常識(shí)別；

所述類別包括：天時(shí)類別、天候類別以及場(chǎng)景異常類別；

對(duì)于天時(shí)類別的樣本標(biāo)簽：0-白天，1-黃昏，2-夜晚；

對(duì)于天候類別的樣本標(biāo)簽：0-晴天，1-多云，2-雨天，3-雪天，4-霧天；以及，

對(duì)于場(chǎng)景異常類別的樣本標(biāo)簽：0-正常，1-遮擋，2-模糊，3-過(guò)亮，4-過(guò)暗；所述神經(jīng)網(wǎng)絡(luò)參數(shù)分步訓(xùn)練單元，用于分類任務(wù)訓(xùn)練，采用交叉熵作為損失函數(shù)，首先訓(xùn)練共享特征層參數(shù)，各任務(wù)對(duì)權(quán)重更新貢獻(xiàn)系數(shù)相同，即：

Loss＝1/3*L_time+1/3*L_weather+1/3*L_abnormal；

然后固化共享特征層卷積參數(shù)，各任務(wù)按各自損失函數(shù)更新各分支網(wǎng)絡(luò)權(quán)重系數(shù)。

2.根據(jù)權(quán)利要求1所述的一種基于深度神經(jīng)網(wǎng)絡(luò)的視覺(jué)場(chǎng)景識(shí)別系統(tǒng)，其特征在于，所述深度卷積神經(jīng)網(wǎng)絡(luò)由共享兩層淺層卷積特征的三分支分類網(wǎng)絡(luò)構(gòu)成，包括：

天時(shí)識(shí)別網(wǎng)絡(luò)：天時(shí)識(shí)別網(wǎng)絡(luò)輸入為共享淺層特征，輸出為白天、黃昏以及夜晚三種天時(shí)分類；

天候識(shí)別網(wǎng)絡(luò)：天候識(shí)別網(wǎng)絡(luò)輸入為共享淺層特征，輸出為晴天、多云、雨天、雪天以及霧天五種天候分類；以及，

場(chǎng)景異常識(shí)別網(wǎng)絡(luò)：場(chǎng)景異常識(shí)別網(wǎng)絡(luò)輸入為共享淺層特征，輸出為場(chǎng)景正常、場(chǎng)景遮擋、場(chǎng)景模糊、場(chǎng)景過(guò)暗以及場(chǎng)景過(guò)曝五種異常場(chǎng)景分類。

3.根據(jù)權(quán)利要求1所述的一種基于深度神經(jīng)網(wǎng)絡(luò)的視覺(jué)場(chǎng)景識(shí)別系統(tǒng)，其特征在于，所述在線分析模塊，包括網(wǎng)絡(luò)壓縮單元和分時(shí)并行分析單元；

所述網(wǎng)絡(luò)壓縮單元，用于將離線網(wǎng)絡(luò)訓(xùn)練所得的神經(jīng)網(wǎng)絡(luò)參數(shù)進(jìn)行量化與稀疏化，利用測(cè)試集評(píng)測(cè)壓縮后網(wǎng)絡(luò)的輸出精度損失，并確定是否對(duì)量化后模型按照量化后數(shù)據(jù)精度重新訓(xùn)練；

所述分時(shí)并行分析單元，用于對(duì)場(chǎng)景異常檢測(cè)每幀優(yōu)先執(zhí)行，天氣及天候檢測(cè)采用隔幀或跳幀執(zhí)行方式；前端應(yīng)用中，采用雙線程或多線程并行的方式，一個(gè)線程執(zhí)行場(chǎng)景異常識(shí)別，另一個(gè)線程分時(shí)交替進(jìn)行天時(shí)與天候識(shí)別，卷積神經(jīng)網(wǎng)絡(luò)硬件加速單元申請(qǐng)優(yōu)先級(jí)以場(chǎng)景異常識(shí)別網(wǎng)絡(luò)優(yōu)先。