[發(fā)明專利]一種基于多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)的車輛屬性識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201611199772.8
• 申請(qǐng)日: 2016-12-22
• 公開（公告）號(hào): CN106599869B
• 公開（公告）日: 2019-12-03
• 發(fā)明（設(shè)計(jì)）人: 李成龍;孫想;湯進(jìn);王文中
• 申請(qǐng)（專利權(quán)）人: 安徽大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G08G1/017
• 代理公司: 34124 合肥市浩智運(yùn)專利代理事務(wù)所(普通合伙)
• 代理人: 丁瑞瑞<國際申請(qǐng)>=<國際公布>=<進(jìn)入

1.一種基于多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)的車輛屬性識(shí)別方法，其特征在于，包括如下步驟：

步驟11：獲取待識(shí)別車輛圖像；

步驟12：利用多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練車輛屬性識(shí)別的多任務(wù)網(wǎng)絡(luò)模型；所述多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)是在同一個(gè)卷積神經(jīng)網(wǎng)絡(luò)中同時(shí)識(shí)別車輛多個(gè)屬性，所述多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)包括卷積層、池化層和全連接層，所述卷積層的后面連接所述池化層，所述池化層的后面連接所述全連接層，所述全連接層包含三組并行部分，每組并行部分又包含三個(gè)首尾連接的全連接層，每組并行部分分別對(duì)應(yīng)所述車輛類型信息、車輛顏色信息和車窗位置信息，每組并行部分的最后一個(gè)全連接層的每個(gè)輸出節(jié)點(diǎn)為所述車輛圖像的車輛類型概率、車輛顏色概率和車窗位置坐標(biāo)點(diǎn)預(yù)測值；

步驟13：根據(jù)所述車輛類型和車窗位置的概率確定所述待識(shí)別車輛圖像的車輛類型和車窗位置；

步驟14：根據(jù)所述多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)得到的車輛類型結(jié)果以及所述車輛車窗位置信息設(shè)計(jì)不同掩膜，所述掩膜為與車輛圖像尺寸相同的二進(jìn)制矩陣；將所述掩膜和車輛圖像點(diǎn)乘得到加入所述掩膜的新車輛圖像；利用所述多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)提取所述新車輛圖像在第二個(gè)池化層的特征；將提取的所述特征輸入至分類器中訓(xùn)練分類模型；

步驟15：根據(jù)所述分類器結(jié)果確定車輛顏色信息；

其中，整個(gè)多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)等同于共有三個(gè)支路，分別對(duì)應(yīng)車輛車型識(shí)別、車輛顏色識(shí)別、車窗位置回歸三個(gè)任務(wù)；

三個(gè)任務(wù)共用第一、二層所述卷積層和所述池化層，對(duì)于所述車輛顏色識(shí)別任務(wù)，直接在第二個(gè)所述池化層之后連接三個(gè)所述全連接層，最后一個(gè)所述全連接層的輸出個(gè)數(shù)為所述車輛顏色類別總數(shù)目；對(duì)于所述車輛類型識(shí)別和所述車輛車窗位置回歸任務(wù)，則繼續(xù)共用連接三個(gè)所述卷積層，隨后連接所述池化層，在所述池化層之后，分別連接三個(gè)所述全連接層，相應(yīng)的最后一個(gè)全連接層的輸出個(gè)數(shù)分別對(duì)應(yīng)車輛類型的分類數(shù)目和車輛車窗位置的坐標(biāo)個(gè)數(shù)；

在卷積層，將所述待識(shí)別的車輛圖像與預(yù)先訓(xùn)練得到的卷積核進(jìn)行卷積計(jì)算，輸出一個(gè)或多個(gè)特征圖像；

在池化層，對(duì)所述卷積層的輸出進(jìn)行池化操作；

在全連接層，對(duì)上一層的輸出進(jìn)行全連接操作，最后的全連接層的輸出節(jié)點(diǎn)個(gè)數(shù)與相應(yīng)的車輛類型和車輛顏色的分類數(shù)目以及車輛車窗位置的坐標(biāo)點(diǎn)個(gè)數(shù)相同；

對(duì)所述最后的全連接層的輸出進(jìn)行分類和回歸，得到車輛類型概率和車輛顏色概率以及車輛車窗坐標(biāo)位置概率。

2.根據(jù)權(quán)利要求1所述的基于多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)的車輛屬性識(shí)別方法，其特征在于，所述步驟14中，所述分類器是SVM分類器。

3.根據(jù)權(quán)利要求1所述的基于多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)的車輛屬性識(shí)別方法，其特征在于，所述步驟12中，所述多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練步驟具體包括：

步驟122：獲取帶有標(biāo)簽的車輛圖像樣本；所述標(biāo)簽為多個(gè)標(biāo)簽，包括車輛的類型信息、顏色信息和車窗位置信息；

步驟123：對(duì)獲取的所述車輛圖像樣本準(zhǔn)備其訓(xùn)練標(biāo)簽，按多標(biāo)簽的格式生成TXT訓(xùn)練標(biāo)簽；

步驟124：對(duì)獲取的車輛圖像樣本進(jìn)行預(yù)處理；

步驟125：設(shè)計(jì)所述多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)；

步驟126：利用預(yù)先設(shè)置有初始參數(shù)的多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)對(duì)所述車輛圖像樣本的進(jìn)行車輛類型識(shí)別和車窗回歸；

步驟127：根據(jù)多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)每一個(gè)屬性的輸出結(jié)果與所述相應(yīng)的車輛屬性信息之間的差異以及車輛位置的輸出結(jié)果與所述車輛車窗位置的差異逐層反傳至所述多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)，訓(xùn)練所述多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)。

4.根據(jù)權(quán)利要求3所述的基于多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)的車輛屬性識(shí)別方法，其特征在于，步驟123中，所述多標(biāo)簽的格式為“車輛圖片名 車輛類型標(biāo)簽 車輛顏色標(biāo)簽 車輛車窗位置坐標(biāo)”，其中除車輛圖片名之外的標(biāo)簽順序可以任意調(diào)整，對(duì)獲取的車輛圖像樣本進(jìn)行預(yù)處理包括數(shù)據(jù)增強(qiáng)、中心化以及resize操作。