[發明專利]基于多任務學習的低光照行人檢測方法及系統

有效

• 申請號: 202010568470.3
• 申請日: 2020-06-19
• 公開（公告）號: CN111814595B
• 公開（公告）日: 2022-05-10
• 發明（設計）人: 盧濤;王元植;張彥鐸;趙康輝;汪慧;程芳芳
• 申請（專利權）人: 武漢工程大學
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06K9/62;G06V10/84
• 代理公司: 湖北武漢永嘉專利代理有限公司 42102
• 代理人: 楊曉燕

1.一種基于多任務學習的低光照行人檢測方法，其特征在于，包括以下步驟：

S1、獲取正常光照行人數據集和低光照行人數據集；

S2、構建光照增強網絡，光照增強網絡包括分解網絡和增強網絡，利用正常光照行人數據集和低光照行人數據集對光照增強網絡進行訓練，得到光照增強預訓練模型；

S3、構建行人檢測網絡，行人檢測網絡以兩個沙漏網絡為主干網絡，并分別加入空間轉換網絡和擠壓激勵網絡，利用正常光照行人數據集對行人檢測網絡進行訓練，得到行人檢測預訓練模型；

S4、基于多任務學習，設計一個能夠融合不同任務之間特征的多任務學習模塊，對光照增強網絡和行人檢測網絡進行特征共享，其中將增強網絡的第一個3*3卷積網絡的特征和行人檢測網絡的最后一個空間轉換網絡的特征進行相加并反饋給兩個網絡，將增強網絡的最后一個3*3卷積網絡的特征和行人檢測網絡的第一個殘差模塊的特征也進行相加并反饋給兩個網絡，從而構建多任務特征共享的低光照行人檢測網絡；

S5、將光照增強預訓練模型和行人檢測預訓練模型導入到多任務特征共享的低光照行人檢測網絡，并利用正常光照行人數據集和低光照行人數據集對多任務特征共享的低光照行人檢測網絡進行訓練，得到多任務特征共享的低光照行人檢測模型；

S6、利用多任務特征共享的低光照行人檢測模型對待檢測圖像進行檢測，得到圖像中行人的位置。

2.根據權利要求1所述的基于多任務學習的低光照行人檢測方法，其特征在于，步驟S2中：基于RetinexNet卷積神經網絡構建光照增強網絡。

3.根據權利要求2所述的基于多任務學習的低光照行人檢測方法，其特征在于，所述光照增強網絡的損失函數為：

L_enh＝L_recon+λ_irL_ir+λ_isL_is

式中，λ_ir和λ_is為權重系數，L_recon，L_ir和L_is分別表示重建，反射率和照明平滑度損失函數。

4.根據權利要求3所述的基于多任務學習的低光照行人檢測方法，其特征在于，步驟S3中：基于CornerNet-Saccade構建行人檢測網絡。

5.根據權利要求4所述的基于多任務學習的低光照行人檢測方法，其特征在于，所述行人檢測網絡的損失函數為：

L_cor＝L_det+δL_pull+ηL_push+γL_off

式中，δ，η和γ分別為L_pull，L_push和L_off三個損失函數的權重，

其中，

式中，L_det為角點損失，N是圖像中對象的數量，α和β是控制每個角點的貢獻的超參數，C，H和W分別代表輸入的通道數，高度和寬度，p_aij為預測圖像中a類的(i，j)位置處的得分，y_aij為未經歸一化的原始圖像；

式中，L_off為偏移損失，o_k是偏移量，x_k和y_k是角點k的x和y坐標，n是下采樣因子；

式中，L_pull用來對角進行分組，L_push對角進行分離，m表示對象個數，為對象m的左上角的嵌入，為為對象的右下角的嵌入，e_m為和的平均值。