[發明專利]一種基于卷積神經網絡的快速低光照目標檢測方法

在審

• 申請號: 202110263181.7
• 申請日: 2021-03-11
• 公開（公告）號: CN113052210A
• 公開（公告）日: 2021-06-29
• 發明（設計）人: 任坤;陶清揚;馮波
• 申請（專利權）人: 北京工業大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06T3/40;G06T5/00
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 劉萍

1.一種基于卷積神經網絡的快速低光照目標檢測方法，其特征在于，包括以下步驟：

步驟1、構建由金字塔卷積神經網絡、輕量化單像素注意力網絡和多尺度融合卷積網絡組成的目標檢測模型；其中，基于三層金字塔狀的卷積神經網絡用于低光照圖像的光照增強，注意力網絡用于提高低光照圖像的分辨率，多尺度融合卷積網絡用于進行目標類別與定位預測；低光照照度為1～3LUX；金字塔卷積神經網絡由三個從低到高三個不同分辨率的卷積層組成，網絡從第三層和第二層的低分辨率圖像上學習顏色和光照特征，從第一層的高分辨率圖像上學習細節和紋理特征，每個分辨率層含有個數不同的密集連接卷積塊；第三層低分辨率圖像大小為124*90，第二層低分辨圖像大小為496*360，第一層高分辨率圖像大小為992*720；金字塔卷積神經網絡除了第一層的末尾使用Tanh激活函數，在每個卷積層的每一個卷積塊后都應用了LeakyReLU激活函數，并在每個卷積層的末尾使用歸一化；

步驟2、收集低光照圖像作為數據集，將收集到的圖像進行預處理，調整圖像分辨率以適應網絡輸入，將數據集進行基于正負樣本數目的優化劃分得到訓練集和測試集；

步驟3、對模型進行訓練；利用處理好的訓練數據集作為金字塔卷積神經網絡的輸入，增強光照；注意力網絡利用金字塔卷積神經網絡增強后的圖像進行超分辨率增強，將增強后的的圖像送入多尺度融合卷積網絡進行目標的定位與分類，最終得到檢測圖像。

2.如權利要求1所述的基于卷積神經網絡的快速低光照目標檢測方法，其特征在于，步驟1所述的輕量化圖像超分辨網絡將金字塔卷積神經網絡輸出的圖片實行超分辨操作，將超分辨后的圖像送入多尺度融合卷積網絡。

3.如權利要求1所述的基于卷積神經網絡的快速低光照目標檢測方法，其特征在于，步驟1所述的多尺度融合卷積網絡對超分辨圖進行處理，得到圖像中預測目標的檢測信息，所述檢測信息包括目標位置信息和目標類別信息。

4.如權利要求1所述的卷積神經網絡的快速低光照目標檢測方法，其特征在于，步驟2所述的預處理具體如下：

首先使用DSLR的圖像對齊算法將從相機捕獲的RAW圖像與RGB圖像對齊，然后計算并匹配圖像上的SIFT關鍵點確定重疊區域，將兩個圖像都裁剪到相交部分，從而得到具有相同分辨率的兩個圖像表示同一場景；然后使用不重疊的滑動窗口從匹配后的圖像中提取圖像塊，以供低光照增強網絡訓練和驗證。

5.如權利要求1所述的基于卷積神經網絡的快速低光照目標檢測方法，其特征在于，步驟3所述的模型訓練具體如下：

1)輸入圖像被調整為224*224*4大小的圖像塊，然后分別進行三次卷積和池化操作，使圖像分布在三個不同的比例的層級中進行處理；網絡從最底層即第三層開始訓練，通過3個步長為1，卷積核為3*3的卷積層，并且相鄰層密集連接、兩兩疊加，經過最后一個卷積層計算后獲得的圖像經過轉置卷積層上采樣和concat至上一個層級即第二層的第一個和最后一個的卷積層前，每一層處理后的特征圖與上一個層級的特征圖堆疊以此獲得更好的全局信息；第二層由4個步長為1，卷積核為3*3的卷積層和3個步長為1，卷積核為5*5的卷積層組成，同樣地使相鄰卷積層相加、末尾卷積塊上采樣；第一層由6個3*3卷積、5個5*5卷積、3個9*9卷積構成，最后輸出光照增強圖像；

2)輕量化圖像超分辨網絡選取1)中得到的光照增強圖片進行圖像超分辨；首先將圖片經過由1*1卷積和3*3卷積組成的單像素注意力非線性映射模塊，接著通過由最近鄰上采樣層和單像素注意力模塊組成的分辨率重建模塊，最后輸出超分辨率圖片；

3)多尺度融合卷積網絡分為骨干網絡、特征融合網絡和定位預測網絡；首先由2)得到的圖片由骨干網絡被下采樣至七個不同分辨率大小的圖像，然后將得到的各分辨率特征圖輸入BIFPN特征融合網絡，最后輸入定位預測網絡，使用非極大值抑制對多個預測框內的目標類別置信度及預測框相對默認框的位置偏移量進行抑制，得到最終的預測框內的目標類別及預測框相對默認框的位置偏移量，并根據位置偏移量求出預測框的位置坐標。

6.如權利要求1所述的基于卷積神經網絡的快速低光照目標檢測方法，其特征在于，金字塔卷積神經網絡的目標損失函數由感知損失函數和均方誤差函數組成，其中感知損失函數由特征損失和風格損失組成。