[發明專利]基于RPF-CAM的低照度目標檢測方法

有效

• 申請號: 202010534721.6
• 申請日: 2020-06-12
• 公開（公告）號: CN111695633B
• 公開（公告）日: 2022-04-05
• 發明（設計）人: 江澤濤;翟豐碩
• 申請（專利權）人: 桂林電子科技大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 桂林市華杰專利商標事務所有限責任公司 45112
• 代理人: 覃永峰

1.一種基于RPF-CAM的低照度目標檢測方法，其特征在于，包括如下步驟：

1)制作合成數據源，建立來源圖像：將正常日光照度下獲取的正常照度圖像Nor-images、模擬低照度環境下的成像特點獲取的低照度圖像Dark-images和圖像標注數據Images_Annotation進行整合構造成一個Dark-Nor-Data數據集，數據集的分組情況如下表1所示：

表1：

2)特征提取網絡模塊的訓練：過程包括：

2-1)將所有低照度圖像Dark-images和正常照度圖像Nor-images進行預處理，縮放到統一的寬度和高度；

2-2)采用Lab顏色模型將低照度圖像Dark-images和正常照度圖像Nor-images分解成光照分量和顏色分量兩個部分，分別對兩個部分進行降采樣，參考ResNet50進行設計，Lab顏色是由RGB三基色轉換而來的，它與RGB色彩模式轉化公式如下：

a＝500*(f(X)-f(Y))，

b＝200*(f(Y)-f(Z))，

其中，

2-3)將原RGB圖像經過Lab顏色模型轉換后的圖像進行卷積下采樣，得到各個階段各種尺寸大小的特征圖，然后將最后一個階段的特征圖經過1×1卷積，改變成與上一階段的特征圖同樣的通道數，再經過雙線性插值，變成與上一階段的特征圖同等尺寸大小的特征圖，最后通過逐像素相加，融合兩個階段的特征圖，同理，將各個階段的特征經過逐級融合，得到多尺度、多層級的能代表圖像細節的特征圖；

2-4)將低照度圖像進行卷積下采樣得到的特征圖跟正常光照圖像經過卷積下采樣得到的特征圖進行逐像素的內容損失函數的計算，損失函數采用MSE損失函數，MSE損失函數是預測值與目標值之間差值取平方和的均值，具體為公式(1)：

其中n為統計的數據量總數，y_i y'_i表示真實值和輸出的預測值，依據所用數據進行公式的更改，更改后的均方誤差MSE損失函數為公式(2)：

其中W、H分別表示預處理過后的圖像的寬度和高度，表示真實正常光照的可見光圖像特征圖的像素值，G(I^Dark-images)_x,y表示低照度圖像I^Dark-images進行卷積下采樣后得到的特征圖的像素值；

3)通道注意力機制網絡模塊的訓練，包括：

3-1)將光照分量和顏色分量得到的特征圖進行通道間的連接操作，得到具有光照和顏色分量兩個部分的高級特征圖，然后經過全局平局池化將龐大的特征圖壓縮成1×1×C的特征向量，C為通道數，再經過擠壓全連接操作，對每個通道的特征值進行激勵學習，再通過全連接操作把特征向量放大成與特征圖相同的通道數，其中，擠壓函數為公式(3)：

激勵函數為公式(4)：

s＝F_ex(z,W)＝σ(g(z,W))＝σ(W₂δ(W₁z)) (4)，

δ函數是ReLu，而σ是一個sigmoid激活函數，W₁和W₂的維度分別是第一層全連接的維度和第二層全連接的維度，通過訓練學習這兩個權重，得到一個一維的激勵權重來激活每一層通道，尺度函數為公式(5)：

3-2)將經過2-3)融合后的特征圖和3-1)最后得到的特征向量進行通道間的相乘操作；

4)目標檢測網絡的訓練，包括：

4-1)將特征提取網絡模塊中的下采樣的各個階段對應的光照分量和顏色分量得到的特征圖進行連接操作，其中光照分量和顏色分量在下采樣過程中，對每一階段的特征圖進行橫向連接操作，組成特征金字塔；

4-2)將經過注意力機制引導過后的總體特征圖送進區域建議網絡，用于生成建議框anchors，通過softmax即歸一化指數函數判斷建議框anchors屬于正樣本還是屬于負樣本，再利用邊框回歸修正建議框anchors獲得精確的建議框，建議框的窗口采用四維向量(x,y,w,h)表示，分別表示窗口的中心點坐標和寬高，框A代表原始的前景建議框anchors，框G代表目標的真實框GT，目標是尋找一種關系，使得輸入原始的anchor A經過映射得到一個跟真實窗口G更接近的回歸窗口G'，即：

4-2-1)給定：anchorA＝(A_x,A_y,A_w,A_h)和GT＝[G_x,G_y,G_w,G_h]；

4-2-2)尋找一種F,使得：F(A_x,A_y,A_w,A_h)＝(G'_x,G'_y,G'_w,G'_h)，其中(G'_x,G'_y,G'_w,G'_h)≈(G_x,G_y,G_w,G_h)，

經過變換F從anchor A變為G′的就是如下過程：

依據公式(6)、公式(7)先做平移：

G′_x＝A_w·d_x(A)+A_x (6)，

G′_y＝A_h·d_y(A)+A_y (7)

依據公式(8)、公式(9)再做縮放：

G′_w＝A_w·exp(d_w(A)) (8)，

G′_h＝A_h·exp(d_h(A)) (9)，

依據公式(6)、公式(7)、公式(8)、公式(9)，需要學習的是d_x(A)，d_y(A)，d_w(A)，d_h(A)這四個變換，當輸入的anchor A與GT相差較小時，把這種變換當作一種線性變換，那么就可以用線性回歸來建模對窗口進行微調，線性回歸就是給定輸入的特征向量X，學習一組參數W，使得經過線性回歸后的值跟真實值Y非常接近，即Y＝WX，輸入X是卷積特征圖，定義為同時還有訓練傳入A與GT之間的變換量，即(t_x,t_y,t_w,t_h)，輸出是d_x(A)，d_y(A)，d_w(A)，d_h(A)四個變換，目標函數可以表示為公式(10)：

其中是對用anchor的特征圖組成的特征向量，是需要學習的參數，d_*(A)是得到的預測值，讓預測值(t_x，t_y，t_w，t_h)與真實值差距最小，設計損失函數為公式(11)：

函數優化目標為：

對于訓練邊框回歸函數網絡回歸分支，輸入是卷積特征監督信號是anchor與GT的差距(t_x,t_y,t_w,t_h)，即訓練目標是：輸入使網絡輸出與監督信號盡可能相近，當邊框回歸工作時，再輸入時，回歸網絡分支的輸出就是每個anchor的平移量和變換尺度(t_x,t_y,t_w,t_h)，即可用來修正anchor位置；

4-3)建議框層負責綜合所有[d_x(A),d_y(A),d_w(A),d_h(A)]變換量和前景anchors，計算出精確的目標框proposal，送入后續的ROI池化層；

4-4)將步驟4-1)得到的特征圖和步驟4-3)生成的建議框送入到ROI池化層，綜合這些信息后提取建議框特征圖，送入后續的卷積層判定目標分類；

4-5)采用建議框特征圖計算建議框的類別，同時再次邊框回歸獲得檢測框最終的精確位置；

5)對整個卷積神經網絡進行構造與訓練，包括：

5-1)對特征提取部分網絡進行構造，特征提取網絡的輸入、輸出數據如下：輸入為模擬的低照度圖像和正常光照圖像，輸出為融合過的高級特征圖，對目標檢測網絡進行構造，檢測網絡的輸入、輸出數據如下：融合的光照分量和顏色分量的特征圖，檢測的目標的正確邊框位置和類別數值；

5-2)對檢測部分網絡進行訓練。