[發明專利]基于因果干預的異常天氣下目標檢測方法、設備及介質

有效

• 申請號: 202110763961.8
• 申請日: 2021-07-06
• 公開（公告）號: CN113591593B
• 公開（公告）日: 2023-08-15
• 發明（設計）人: 林志勇;汪燕青;李偉佳;陳龍;吳偉;林小敏
• 申請（專利權）人: 廈門路橋信息股份有限公司
• 主分類號: G06V10/80
• 分類號: G06V10/80;G06V10/774;G06N3/0464;G06V10/82;G06V10/764
• 代理公司: 廈門創象知識產權代理有限公司 35232
• 代理人: 廖吉保

本發明提供一種基于因果干預的異常天氣下目標檢測方法、設備及介質，包括S1、計算實例特征與天氣特征的注意力分數；S2、將注意力分數作為天氣先驗權重與實例特征融合得到融合特征并輸出；S3、通過殘差結構對實例特征與融合特征進行求和，并輸出求和結果；S4、設定S1?S3的執行次數ksubgt;D/subgt;，根據執行次數ksubgt;D/subgt;重復執行S1?S3，并將前一次執行輸出的求和結果作為后一次執行輸入的實例特征，將第ksubgt;D/subgt;次執行輸出的求和結果作為最終輸出結果；S5、設定S1?S4的訓練輪數B，根據訓練輪數B重復執行S1?S4；S6、結束訓練，獲得因果干預后的目標檢測模型。本發明能夠提高模型在異常天氣下的檢測能力，且具有良好的泛化能力。

技術領域

本發明涉及計算機技術領域，特別涉及一種基于因果干預的異常天氣下目標檢測方法、設備及介質。

背景技術

目標檢測旨在對重要目標定位并分類，近年來，在諸如計算機診斷、人臉識別、自動駕駛等計算機視覺任務中被廣泛應用。近期工作雖然在多個基礎測試上有著不錯的表現，但在面對復雜的戶外場景尤其是不同異常天氣時(如：雪、霧、雨等)，使目標檢測模型保持較高精度仍然具有很大挑戰。例如：自動駕駛汽車需要能夠適應各種不同的戶外環境，而影響自動駕駛汽車走入我們日常生活的一個重要原因，便是目標檢測模型在惡劣天氣條件下表現不佳。因此改善目標檢測魯棒性和惡劣天氣下的表現已經成為計算機視覺方向的一個活躍研究領域。當前學術界流行的方法包括但不限于數據增強，去噪，建立更廣泛的數據集等。

現有的目標檢測模型主要包括one-stage和two-stage兩種策略，其中，two-stage是指檢測算法需要分兩步完成，首先需要獲取候選區域，然后進行分類，例如R-CNN系列；與之相對的是one-stage策略，這類方法不再需要單獨尋找候選區域，例如YOLO和SSD系列。其中two-stage方法通常包含三個部分，第一個是用于提取圖片特征的主干模型，例如：VGG，ResNet，ResNeXt和DenseNet等；第二個是用于加強特征脖頸部分，例如Feature?PyramidNetwork(FPN)，Path?Aggregation?Network(PAN)；最后一個是用于微調候選框(boundingbox，bbox)位置和分類的處理頭。

模型的魯棒性體現在驗證集和測試集的表現差異，而這種差異是由于數據偏見導致的。數據偏見分為三個層次：(1)目標級別；研究中發現在COCO數據集中，馬大多數情況與人共同出現，這使模型將馬與人進行了目標級別的強關聯，進而影響在弱監督語義分割中難以分割馬的目標邊界；(2)前后景級別；研究中發現，在ImageNet-9中，87.5％的圖片在背景更換后會被模型錯誤分類，這說明模型會將目標與背景進行強關聯；(3)全局級別；研究中發現，數據集中一些人口統計學上的變量，例如性別、年齡和人種等會影響模型的表現。我們認為天氣腐蝕是一種全局級別的數據偏見，并稱為天氣偏見，當目標均在某種天氣下拍攝，會使模型將目標與該種天氣相關聯，并進一步影響在其他天氣下的表現。

為了改善模型在異常天氣下的表現，當前很多檢測方法都致力于去除天氣偏見對模型的影響：如數據增強、去腐蝕、建模天氣環境、建立更廣泛的人造數據集和建立更廣泛的真實數據集，又或者是設計多尺度網絡以及聚合特征。然而，現有的檢測方法都存在計算復雜度高，且僅能針對單一腐蝕，難以拓展到其他腐蝕的問題，即缺少一種輕量級、泛化性好的檢測方法。鑒于此，本案發明人對上述問題進行深入研究，遂有本案產生。

發明內容

本發明的目的，在于提供一種基于因果干預的異常天氣下目標檢測方法、設備及介質，解決現有檢測方法存在的計算復雜度高，僅能針對單一腐蝕，難以拓展到其他腐蝕的問題；能夠實現在多種天氣腐蝕下具有良好的泛化能力，且能夠在無需增加額外訓練數據和大量計算的情況下，提高模型在異常天氣下的檢測能力。

為了達成上述目的，本發明的解決方案是：

第一方面，本發明提供基于因果干預的異常天氣下目標檢測方法，方法包括如下步驟：