[發明專利]一種適用于小目標檢測的增強的全卷積實例語義分割算法

在審

• 申請號: 201811601302.9
• 申請日: 2018-12-26
• 公開（公告）號: CN109583517A
• 公開（公告）日: 2019-04-05
• 發明（設計）人: 胡輝;司鳳洋
• 申請（專利權）人: 華東交通大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04
• 代理公司: 北京金智普華知識產權代理有限公司 11401
• 代理人: 楊采良

本發明屬于圖像處理技術領域，基于全卷積實例語義分割(FCIS)算法，公開了一種適用于小目標檢測的增強的全卷積實例語義分割算法，其包括共享特征圖提取，預選框提取，產生位置敏感分數圖譜，分類和回歸；在共享特征圖提取過程中，提出融合conv1，conv3和conv5特征圖，使得共享特征圖保留了高語義信息和高細節信息；在預選框提取過程中，針對預選框提取網絡效果不佳，提出dual RPN算法，它的平均召回率比RPN提高了7％。本發明EFCIS算法的mAP比FCIS提高3.5％，針對小尺寸目標，EFCIS算法的mAP比FCIS提高2.9％。通過實驗表明本發明非常有利于提升抓取小目標的能力。

技術領域

本發明屬于圖像處理技術領域，尤其涉及一種適用于小目標檢測的增強的全卷積實例語義分割算法。

背景技術

目前，業內常用的現有技術是這樣的：

場景理解是計算機視覺領域的一個核心難點，而實例語義分割是實現場景理解的一個必要過程，在圖像領域，實例語義分割是集合圖像分類，目標檢測，圖像分割的綜合性任務，它被廣泛應用于地理信息系統，無人駕駛，醫療圖像分析，機器人及其他領域。

隨著基于卷積神經網絡的深度學習迅速發展，越來越多的實例語義分割子任務可以使用卷積神經網絡來完成，并且近年來，全卷積神經網絡(FCN)相關算法已經壟斷了圖像語義分割領域，其中，使用全卷積神經網絡處理圖像語義分割相關算法中，全卷積實例語義分割(FCIS)取得了極其優異的效果，全卷積實例語義分割(FCIS)集合了現階段眾多優秀的成果，是第一個實現端到端的卷積實例語義分割的算法，并且在實例語義分割領域的成果遙遙領先其他算法，它獲得了2016 MS COCO segmentation challenge第一名，并且遠遠領先第二名。

綜上所述，現有技術存在的問題是：

(1)由于卷積神經網絡自身的缺陷—卷積神經網絡的降采樣，導致圖片中較小的目標可能在共享特征提取的過程中就消失，無法參與算法的后期任務。

(2)全卷積實例語義分割(FCIS)是典型的“two-stage”算法，在該算法的第一階段需要提取大量預選框，而現有RPN網絡對于預選框提取的召回率還存在一些不足，導致在該算法的后期任務的性能降低。

解決上述技術問題的難度和意義：

難度：

(1)、針對卷積神經網絡降采樣導致小目標特征圖丟失，目前工業界和學術界遵循的思想是融合淺層，中層，深層網絡的特征圖，但是這樣會大幅增加整個模型參數數量，這使得整個網絡訓練十分困難，極其容易訓練過擬合，并且需要大幅提高計算資源，整個算法執行時間大幅增加，除了這些困難之外，在本算法改進過程中，我們還會遇到采用上采樣或者降采樣的過程中我們丟失大量信息，并且這些過程不是可學習過程，這對于整個算法精確度是致命性打擊。

(2)、目前不論是工業界還是學術界，對于”two-stage”算法，預選框提取都采用RPN網絡，但是RPN網絡要獲得較高的召回率需要大幅度提高預選框的數量，這使得后期算法提速產生巨大負擔，同時即使提取大量的預選框，仍然會造成目標丟失，為此提出了Selective Search,Edge boxes等方案，但是依舊難以解決上述問題。

意義：

(1)、針對問題1本發明提出了一種特征融合方案，融合conv1，conv3，conv5，兼顧了淺層特征具有的高細節信息和深層特征具有的高語義信息，并通過1×1卷積將融合后的特征壓縮在統一空間中，保證參與后期任務的共享特征圖譜之間相互協調，在融合過程中，我們對conv1采用stride為2的膨脹卷積進行降采樣，而對conv5采用轉置卷積上采樣，這些采樣操作都是可學習過程，和傳統的雙線性抽樣和插值方法截然不同，對防止特征圖失真有極大幫助。所以我們為特征融合過程中特征圖采樣提出了一個新的角度。