[發明專利]融合FCOS的R-CNN城市道路環境識別方法及裝置

在審

• 申請號: 202011075466.X
• 申請日: 2020-10-09
• 公開（公告）號: CN112215128A
• 公開（公告）日: 2021-01-12
• 發明（設計）人: 石英;龍鑫玉;謝長君;張暉;林朝俊;陳悅
• 申請（專利權）人: 武漢理工大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/34;G06N3/04;G06N3/08
• 代理公司: 武漢開元知識產權代理有限公司 42104
• 代理人: 劉琳;潘杰

1.一種融合FCOS的R-CNN城市道路環境識別方法，其特征在于：所述方法為構建一種融合FCOS的R-CNN城市道路環境實例分割網絡模型，使用圖像數據集進行模型訓練，將待識別圖片輸入至經過訓練的網絡模型，得到識別結果；

所述一種融合FCOS的R-CNN城市道路環境實例分割網絡模型的構建包括如下步驟：

1)搭建基于FCOS的目標檢測網絡：用獲取的圖像進行特征提取，形成若干個特征層，使用FPN進行分層檢測，再經過分類與回歸子網絡對FPN的每個特征層進行類別預測、尋找中心點和邊框回歸操作；

2)實例分割：用邊框回歸的輸出與輸入的圖像做特征池化對齊，融合Mask R-CNN的語義分割子網絡，將單階段FCOS目標檢測網絡，改為雙階段的網絡結構；計算改進的Mask R-CNN網絡的損失函數，將池化后的特征圖通過基于Mask R-CNN的語義分割子網絡進行逐像素預測語義類別，得到最終的實例分割結果。

2.根據權利要求1所述的融合FCOS的R-CNN城市道路環境識別方法，其特征在于：所述步驟1)中使用ResNet網絡作為特征提取網絡，從輸入圖像開始，通過若干次卷積和下采樣逐級減小特征圖分辨率，每層特征圖大小為上層的1/2，每個輸入圖像通過ResNet特征提取網絡生成三層的特征圖。

3.根據權利要求1所述的融合FCOS的R-CNN城市道路環境識別方法，其特征在于：所述步驟1)中使用改進的FPN特征分層識別方法，FPN網絡結構由自下而上部分、自上而下部分和橫向連接三部分構成；特征層作為自下而上部分把原始圖片進行縮小，自下而上部分把最小分辨率特征圖進行適當地放大，然后使用橫向連接將相同分辨率的特征圖進行融合。

4.根據權利要求3所述的融合FCOS的R-CNN城市道路環境識別方法，其特征在于：所述改進的FPN特征分層識別方法中，當圖像數據集的圖像分辨率低于800×1024時，特征分層識別公式為

式中，w和h分別表示RoI區域的寬度和高度，k表示用于檢測目標的P_k層；等式中k最大值限制為5。

5.根據權利要求3所述的融合FCOS的R-CNN城市道路環境識別方法，其特征在于：所述改進的FPN特征分層識別方法中，當圖像數據集的圖像分辨率高于或等于800×1024時，特征分層識別公式為

式中，w和h分別表示RoI區域的寬度和高度，k表示用于檢測目標的P_k層；等式中k下限值為3，上限值為7。

6.根據權利要求1所述的融合FCOS的R-CNN城市道路環境識別方法，其特征在于：所述基于FCOS的目標檢測網絡通過包圍框的中心點坐標及中心點到包圍框的上下左右四條邊的距離表示包圍框：

設第i個包圍框的左上角的角點坐標為右下角的角點坐標為則FCOS的邊框回歸子網絡訓練目標為

式中，(x,y)為中心點像素的坐標，l^*表示當前中心點像素與包圍框的左邊框距離，r^*表示右邊框距離，t^*表示頂部邊框距離，b^*表示底部邊框距離。

7.根據權利要求6所述的融合FCOS的R-CNN城市道路環境識別方法，其特征在于：所述尋找中心點操作的計算公式為：

其中，centerness^*為中心點距離值。

8.根據權利要求1所述的融合FCOS的R-CNN城市道路環境識別方法，其特征在于：所述步驟2)中改進的Mask-RCNN網絡的損失函數的計算方法為：

式中，X和Y分別表示預測分割圖和GT分割圖，dice表示損失值，取值范圍為(0,1)。