[發明專利]基于多任務學習的低光照行人檢測方法及系統

有效

• 申請號: 202010568470.3
• 申請日: 2020-06-19
• 公開（公告）號: CN111814595B
• 公開（公告）日: 2022-05-10
• 發明（設計）人: 盧濤;王元植;張彥鐸;趙康輝;汪慧;程芳芳
• 申請（專利權）人: 武漢工程大學
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06K9/62;G06V10/84
• 代理公司: 湖北武漢永嘉專利代理有限公司 42102
• 代理人: 楊曉燕

本發明公開了一種基于多任務學習的低光照行人檢測方法及系統，包括獲取正常、低光照行人數據集；構建光照增強網絡，并利用正常、低光照行人數據集進行預訓練；構建行人檢測網絡，利用正常光照行人數據集進行預訓練；基于多任務學習，設計一個能夠融合不同任務之間特征的多任務學習模塊，對兩個網絡進行特征共享，構建多任務特征共享的低光照行人檢測網絡；將兩個預訓練模型導入到該低光照行人檢測網絡，并利用正常、低光照行人數據集進行訓練，得到多任務特征共享的低光照行人檢測模型；利用多任務特征共享的低光照行人檢測模型對被檢測圖像進行檢測，得到圖像中行人的位置。本發明能夠準確、高效的在低光照的圖像中檢測出行人的位置。

技術領域

本發明涉及計算機視覺目標檢測技術領域，具體涉及一種基于多任務學習的低光照行人檢測方法及系統。

背景技術

經濟的快速發展帶來了不同地域、不同城市間人員的頻繁往來，隨之而來的公共安全隱患讓相關部門耗費了不少精力。目前，作為城市安全防范系統重要組成部分的視頻監控設備己被廣泛應用，它們被安裝在街道、學校、車站等公共區域中。這些設備主要用來記錄和存儲相關地點發生的事情，方便人們完成遠程監控和應急指揮等需求，保障社會的公共安全。行人是視頻監控中的主體，利用智能技術對行人的行為進行研究和分析是智能監控技術的重要組成部分。行人檢測就是這一領域的關鍵技術之一。

另一方面，行人檢測還在無人駕駛領域起著非常關鍵的作用。近年來，隨著人工智能的蓬勃發展，無人駕駛車輛的研究得到了重大發展。行人檢測是無人駕駛車輛研究的一個重要課題，對于提升車輛感知周圍行人的能力有重要影響。

行人檢測是目標檢測的一個具體應用，從該角度出發，行人檢測算法可以分為兩類：基于錨框和基于關鍵點的方法。卷積神經網絡(CNN)在RCNN中首次被引入到目標檢測中，它可以在不需要手工設計特征的情況下進行檢測。基于關鍵點的目標檢測算法通過檢測和分組關鍵點來生成目標邊界框。這極大簡化了網絡的輸出，消除了設計錨框的需要。CornerNet和CornerNet-Lite是基于關鍵點方法的典型代表，他們通過預測目標的左上角和右下角來確定目標邊界。

盡管上述行人檢測算法在正常照明條件下取得了令人滿意的性能，但在實際應用中，正常的照明并不總是有保證的，低光環境非常普遍。低光照環境下行人檢測效果差的主要原因是低光照導致輸入圖像中色彩信息嚴重丟失，而色彩信息是行人檢測的關鍵。為了解決低光照行人檢測問題，目前研究出了紅外行人檢測，但紅外行人檢測需要在紅外圖像下來進行行人檢測，不能直接使用原始低光照圖像檢測。

發明內容

本發明解決的技術問題是提供一種基于多任務學習的低光照行人檢測方法及系統，解決低光照環境下行人檢測效果差的問題。

為解決上述技術問題，本發明提供一種基于多任務學習的低光照行人檢測方法，包括以下步驟：

S1、獲取正常光照行人數據集和低光照行人數據集；

S2、構建光照增強網絡，光照增強網絡包括分解網絡和增強網絡，利用正常光照行人數據集和低光照行人數據集對光照增強網絡進行訓練，得到光照增強預訓練模型；

S3、構建行人檢測網絡，行人檢測網絡以兩個沙漏網絡為主干網絡，并分別加入空間轉換網絡和擠壓激勵網絡，利用正常光照行人數據集對行人檢測網絡進行訓練，得到行人檢測預訓練模型；

S4、基于多任務學習，設計一個能夠融合不同任務之間特征的多任務學習模塊，對光照增強網絡和行人檢測網絡進行特征共享，其中將增強網絡的第一個3*3卷積網絡的特征和行人檢測網絡的最后一個空間轉換網絡的特征進行相加并反饋給兩個網絡，將增強網絡的最后一個3*3卷積網絡的特征和行人檢測網絡的第一個殘差模塊的特征也進行相加并反饋給兩個網絡，從而構建多任務特征共享的低光照行人檢測網絡；