[發(fā)明專(zhuān)利]一種基于改進(jìn)Faster R-CNN的道路環(huán)境視覺(jué)感知方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201811323004.8
• 申請(qǐng)日: 2018-11-08
• 公開(kāi)（公告）號(hào): CN109447018B
• 公開(kāi)（公告）日: 2021-08-03
• 發(fā)明（設(shè)計(jì)）人: 董恩增;路堯;佟吉?jiǎng)?/a>
• 申請(qǐng)（專(zhuān)利權(quán)）人: 天津理工大學(xué)
• 主分類(lèi)號(hào): G06K9/00
• 分類(lèi)號(hào): G06K9/00;G06K9/62
• 代理公司: 天津耀達(dá)律師事務(wù)所 12223
• 代理人: 侯力

1.一種基于改進(jìn)Faster R-CNN的道路環(huán)境視覺(jué)感知方法，其特征在于：它包括，

S1、讀取圖片信息后，一張X*Y大小的圖片會(huì)縮放至H*W，經(jīng)Feature extractionnetwork模塊的ResNet-101特征提取網(wǎng)絡(luò)提取圖片的Feature maps；

S2、步驟S1中輸出的Feature maps進(jìn)入Region proposal network模塊，Regionproposal network模塊運(yùn)用3*3大小的滑動(dòng)窗遍歷Feature maps，每個(gè)像素預(yù)測(cè)出54個(gè)anchor boxes，通過(guò)Softmax層判斷anchors屬于前景或者背景，再利用邊框回歸修正anchors獲得精確的Proposals；

S3、ClassificationBoundingbox regression模塊收集步驟S1中得到的Featuremaps和步驟S2中得到的Proposals,通過(guò)Read-only ROI挖掘困難樣本，使用ROI-2更新模型參數(shù)，最后得到目標(biāo)物體分類(lèi)結(jié)果和邊框回歸的偏移量；

S4、建立訓(xùn)練數(shù)據(jù)集：為完善算法在雨雪、霧霾天氣中的目標(biāo)檢測(cè)效果，結(jié)合自動(dòng)駕駛數(shù)據(jù)集KITTI和Oxford RobotCar組成混合自動(dòng)駕駛訓(xùn)練集；為減少假陽(yáng)性率，數(shù)據(jù)集標(biāo)簽整合為‘car’類(lèi)和‘pedestrian’類(lèi)，并將數(shù)據(jù)集制作成PASCALVOC2007數(shù)據(jù)集的格式；

S5、訓(xùn)練網(wǎng)絡(luò)模型：使用GPU_0、GPU_1聯(lián)合并行訓(xùn)練；使用遷移學(xué)習(xí)的方式，F(xiàn)eatureextraction network模塊中的ResNet-101在ImageNet訓(xùn)練后得到的網(wǎng)絡(luò)模型做為預(yù)訓(xùn)練模型，混合自動(dòng)駕駛數(shù)據(jù)集做fine-tuning；訓(xùn)練方式為四步交替優(yōu)化法。

2.如權(quán)利要求1所述的一種基于改進(jìn)Faster R-CNN的道路環(huán)境視覺(jué)感知方法，其特征在于：所述步驟S1中X*Y大小的圖片在進(jìn)入網(wǎng)絡(luò)模型前縮放至H*W，F(xiàn)eature extractionnetwork模塊中的特征提取網(wǎng)絡(luò)為100層的全卷積網(wǎng)絡(luò)ResNet-101，包括Conv1、Conv2_x、Conv3_x、Conv4_x、Conv5_x；經(jīng)Resnet-101特征提取網(wǎng)絡(luò)的Conv1、Conv2_x、Conv3_x、Conv4_x后，Conv4_x輸出的Feature maps分別送入Region proposal network模塊和ClassificationBoundingbox regression模塊提取Regionproposals、挖掘困難樣本；其中在ClassificationBoundingbox regression模塊的ROI Pooling層后再加入Conv5_x的九層網(wǎng)絡(luò)增強(qiáng)圖像特征，提升后續(xù)物體分類(lèi)效果。

3.如權(quán)利要求2所述的一種基于改進(jìn)Faster R-CNN的道路環(huán)境視覺(jué)感知方法，其特征在于：所述步驟S2中，Region proposal network模塊使用3*3大小的滑動(dòng)窗遍歷Conv4_x輸出的Feature maps的每個(gè)像素點(diǎn)，位于滑動(dòng)窗中心的錨點(diǎn)預(yù)測(cè)6種尺度、9種比例的54個(gè)anchor boxes；anchor boxes經(jīng)Softmax層提取包含目標(biāo)物體的Proposals，并使用邊框回歸法修正Proposals的坐標(biāo)；最后使用Soft-NMS方法去掉重疊度高的包圍框得到精確的Proposals。

4.如權(quán)利要求1所述的一種基于改進(jìn)Faster R-CNN的道路環(huán)境視覺(jué)感知方法，其特征在于：所述步驟S3中，將Proposals送入ClassificationBoundingbox regression模塊，該模塊包括只讀的Read-only ROI網(wǎng)絡(luò)和具有前-后向傳播功能的ROI-2網(wǎng)絡(luò)，兩個(gè)網(wǎng)絡(luò)間共享權(quán)重；Proposals在Read-only ROI網(wǎng)絡(luò)中計(jì)算分類(lèi)損失和邊框回歸損失；然后將損失按降序排列，選擇具有高損失性的Hard region proposal；最后將Hard region proposal輸入ROI-2網(wǎng)絡(luò)中計(jì)算困難樣本的損失回傳給卷積神經(jīng)網(wǎng)絡(luò)來(lái)更新整個(gè)網(wǎng)絡(luò)參數(shù)，最終得到目標(biāo)物體類(lèi)別和位置的精準(zhǔn)結(jié)果。