[發明專利]融合FCOS的R-CNN城市道路環境識別方法及裝置

在審

• 申請號: 202011075466.X
• 申請日: 2020-10-09
• 公開（公告）號: CN112215128A
• 公開（公告）日: 2021-01-12
• 發明（設計）人: 石英;龍鑫玉;謝長君;張暉;林朝俊;陳悅
• 申請（專利權）人: 武漢理工大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/34;G06N3/04;G06N3/08
• 代理公司: 武漢開元知識產權代理有限公司 42104
• 代理人: 劉琳;潘杰

本發明公開了融合FCOS的R?CNN城市道路環境識別方法及裝置，所述方法提出一種融合FCOS的R?CNN城市道路環境實例分割網絡模型，包括搭建基于FCOS的目標檢測網絡和實例分割。本發明采用改進了FPN特征金字塔分層方式，提高城市道路環境的目標識別精度和實例分割精度；在FCOS檢測網絡作為RPN網絡的基礎上，融合Mask R?CNN實例分割子網絡，構建了新型圖像識別和實例分割網絡，解決了傳統R?CNN算法問題實時性低的問題；最后針對當前基于Mask R?CNN實例分割采用的BCE損失函數收斂慢且不利于分割精度提高的問題，采用了新的基于IOU的損失函數Dice loss，使網絡學習更貼近于評價指標，進一步提高分割精度。

技術領域

本發明涉及城市道路環境識別和行人檢測視覺分析技術領域，具體地指一種融合FCOS的R-CNN城市道路環境識別方法及裝置。

背景技術

道路環境和行人的識別分割是無人駕駛及智能交通的重要研究內容。由于實際道路環境的復雜性和多樣性，實現道路的準確檢測仍面臨諸多問題，比如數據集分辨率不斷增大帶來的小目標漏檢問題。傳統的R-CNN神經網絡道路環境識別分割網絡應用廣泛，但由于需要逐像素生成錨定框作為先驗知識輸入RPN網絡，普遍算法實時性差、超參數多。因此可以從更換RPN網絡的角度出發，選擇不需要生成錨點的算法來減少超參數的引入，通過攝像機拍攝得到的圖像對道路環境進行分割，分析道路環境和行人的分布情況。

與傳統的R-CNN神經網絡道路環境識別分割網絡相比，無錨定框(anchor-free)檢測網絡FCOS可以擺脫識別和分割效果依賴于RPN網絡的錨定框先驗知識這一弊端。基于RPN網絡，通過遍歷的方式，從神經網絡的某一層特征圖的左上角逐像素遍歷到右下角，以生成大量的先驗錨定框，限制了檢測速度提高。改進FPN的特征分層檢測算法，適應當前公共數據集越發龐大、分辨率越來越高的發展趨勢。

發明內容

本發明針對現有技術的不足之處，提出了一種融合FCOS的R-CNN城市道路環境識別方法及裝置，對城市道路環境下行人目標漏檢率高、識別精度低的問題提出了解決方案。

為實現上述目的，本發明所設計的一種融合FCOS的R-CNN城市道路環境識別方法，其特殊之處在于，所述方法為構建一種融合FCOS的R-CNN城市道路環境實例分割網絡模型，使用圖像數據集進行模型訓練，將待識別圖片輸入至經過訓練的網絡模型，得到識別結果；

所述一種融合FCOS的R-CNN城市道路環境實例分割網絡模型的構建包括如下步驟：

1)搭建基于FCOS的目標檢測網絡：用獲取的圖像進行特征提取，形成若干個特征層，使用FPN進行分層檢測，再經過分類與回歸子網絡對FPN的每個特征層進行類別預測、尋找中心點和邊框回歸操作；

2)實例分割：用邊框回歸的輸出與輸入的圖像做特征池化對齊，融合Mask R-CNN的語義分割子網絡，將單階段FCOS目標檢測網絡，改為雙階段的網絡結構；計算改進的MaskR-CNN網絡的損失函數，將池化后的特征圖通過基于Mask R-CNN的語義分割子網絡進行逐像素預測語義類別，得到最終的實例分割結果。

優選地，所述步驟1)中使用ResNet網絡作為特征提取網絡，從輸入圖像開始，通過若干次卷積和下采樣逐級減小特征圖分辨率，每層特征圖大小為上層的1/2，每個輸入圖像通過ResNet特征提取網絡生成三層的特征圖。

優選地，所述步驟1)中使用改進的FPN特征分層識別方法，FPN網絡結構由自下而上部分、自上而下部分和橫向連接三部分構成；特征層作為自下而上部分把原始圖片進行縮小，自下而上部分把最小分辨率特征圖進行適當地放大，然后使用橫向連接將相同分辨率的特征圖進行融合。

優選地，所述改進的FPN特征分層識別方法中，當圖像數據集的圖像分辨率低于800×1024時，特征分層識別公式為