[發明專利]一種基于深度學習的結構化道路中小物體的檢測方法

在審

• 申請號: 201811329317.4
• 申請日: 2018-11-09
• 公開（公告）號: CN109583321A
• 公開（公告）日: 2019-04-05
• 發明（設計）人: 陳廣;陳凱;瞿三清;許仲聰;董金虎
• 申請（專利權）人: 同濟大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06N3/04
• 代理公司: 上海智信專利代理有限公司 31002
• 代理人: 吳林松

1.一種基于深度學習的結構化道路中小物體的檢測方法，其特征在于，包括如下步驟：

(1)采集真實的結構化道路上包含小物體的圖像數據，通過人工方法標注其中小物體的位置和類別信息；

(2)構建適用于結構化道路中小物體檢測的深度卷積神經網絡及相應的損失函數；

(3)將采集到的圖像和標注數據輸入到步驟(2)構建的卷積神經網絡中，根據輸出值與目標值之間的損失值對神經網絡中的參數值進行更新，最后得到理想的網絡參數。

2.根據權利要求1所述的方法，其特征在于，在步驟(1)中，圖像數據的采集與標注步驟如下：

(2-1)對攝像頭的內外參進行標定；

(2-2)將道路上常出現的小物體隨機組合放在道路上，利用裝有攝像頭的數據采集車采集圖像數據，并記錄采集時采集車與小物體的距離及物體類別；

(2-3)利用標注工具對采集到的圖像數據進行標注，標注方式包含但不限于像素級標注、目標物體邊界框標注，標注內容最少需要包含小物體的位置和類別信息，可以進行拓展，增加可行駛區域、道路邊界的信息。

3.根據權利要求1所述的方法，其特征在于，在步驟(2)中，構建的適用于結構化道路中小物體檢測的卷積神經網絡及相應的損失函數步驟如下：

(3-1)構建小物體特征提取網絡，用于將輸入的圖像信息進行特征提取與特征編碼，得到多尺度的、可用于感興趣區域檢測與小物體檢測的共享特征層；

(3-2)構建感興趣區域檢測網絡，用于從最后一層共享特征層中提取信息，得到道路的消失點位置及包含小物體的感興趣區域位置信息；

(3-3)構建特征融合上采樣網絡，將步驟(3-2)得到的感興趣區域信息映射到步驟(3-1)中得到的多尺度共享特征層上并進行融合，對融合之后的特征層進行上采樣；

(3-4)構建超分辨率增強的小物體檢測網絡，用于將步驟(3-3)中得到的特征層信息進行超分辨率信息增強，并提取小物體的位置和類別信息；

(3-5)構建平滑化曼哈頓距離損失函數，用于計算網絡輸出的感興趣區域位置與感興趣區域真實位置的損失，以及最后生成的邊界框的位置與真實位置的損失；

(3-6)構建適用于類別不平衡的目標檢測損失函數，用于計算網絡輸出的小物體的檢測損失，并能抑制樣本中小物體與背景的比例的不平衡所造成的影響。

4.根據權利要求1所述的方法，其特征在于，在步驟(3)中，訓練網絡的步驟如下：

(4-1)將采集到的圖像進行數據預處理，包括：將圖像進行隨機的水平翻轉、裁剪并統一縮放到固定的尺寸，標注數據也進行相應的翻轉、裁剪和縮放，在此基礎上對得到的圖像按通道進行歸一化處理；

(4-2)在ImageNet或其他圖像分類數據集上利用SoftMax損失函數對小物體特征提取網絡進行預訓練，得到的參數值作為網絡的初始參數；

(4-3)將小物體特征提取網絡與感興趣區域檢測網絡連接，并將預處理后的圖片與標注數據一起輸入到網絡中，利用平滑化曼哈頓距離損失函數計算網絡輸出的感興趣區域位置與真實位置的損失值，進行參數值更新，迭代后得到理想的網絡參數；

(4-4)將步驟(4-3)中得到的感興趣區域位置映射到小物體特征提取網絡的多尺度共享特征層上，對融合之后的特征層進行上采樣，并與超分辨率增強的小物體檢測網絡連接，利用多種損失函數的加權和得到包含邊界框位置和類別的綜合損失值，再進行網絡的參數更新，得到最終結果。

5.根據權利要求2所述的方法，其特征在于，步驟(2-2)中所述的小物體包括足球、木箱、輪胎。