[發明專利]一種復雜場景的未知異常障礙物識別方法及系統

在審

• 申請號: 202210607410.7
• 申請日: 2022-05-31
• 公開（公告）號: CN114926819A
• 公開（公告）日: 2022-08-19
• 發明（設計）人: 張衛東;任相璇;楊云祥;覃善興;沈春華;柏林;熊明磊;常建;賀通;黃宴委
• 申請（專利權）人: 海南大學
• 主分類號: G06V20/58
• 分類號: G06V20/58;G06V10/26;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 佛山知正知識產權代理事務所(特殊普通合伙) 44483
• 代理人: 楊情情

本發明涉及一種復雜場景的未知異常障礙物識別方法及系統，該系統包括：特征編碼器模塊：用以將輸入圖片編碼為高維特征張量，提取輸入特征；未知注意力生成模塊，用以生成未知注意力權重圖，該注意力圖對不確定性高區域生成高權重，反之注意力圖較低；注意力信息提示模塊，用以對注意力高區域給予真值提示；語義分割結果預測模塊，用以預測像素為各類別的概率。本發明通過訓練模型將有效注意力放在不確定性區域高的區域來以此根據模型注意力權重值來預測是否為未知異常障礙物。與現有技術相比本發明具有應用性強、計算量小、普適性強等優點。

技術領域

本發明涉及機器視覺中的語義分割領域，尤其是涉及一種復雜場景的未知異常障礙物識別方法及系統。

背景技術

在陸上或者海上自動駕駛中，識別未知異常障礙物的能力對系統安全極為重要?，F有的基于深度學習的語義分割算法過分依賴訓練數據集的規模及質量，在這種情況下，模型只能將物體識別為自己學過的類別中的某一類，對于訓練集中不存在的訓練類別(未知異常類)，模型則會作出錯誤的判斷：將其強行歸類為已知類的一種，而不是承認對其未知。這種強烈依賴訓練數據的方法這在實際應用中會引發一系列的安全問題：如以自動駕駛場景舉例，現有的方法在使用一足夠規模的數據集全監督進行訓練時，已經可以達到很高的檢測精度，數據集中所包含的目標種類常常是常見目標如行人、車輛、路燈等，但當道路上出現如貓狗、垃圾車遺落下的箱子、甚至椅子、玩具等不存在于用來訓練模型的數據集中的障礙物時，檢測器強行將其歸類為已知類的一種，這會引發一系列的安全隱患。而收集一個可以包含所有可能實例的數據集是不現實的,這大大限制了其在現實世界的應用。使模型具有識別未知異常障礙物的能力同時可以使得系統更為高效的學習。當接收到新的視覺信息時，人類的好奇心常常驅使人們去更關注自己未知的事物，這使得相比于機器，人具有更為高效的學習能力。識別未知異常障礙物并對異常障礙物給予更高的注意力可以幫助神經網絡模型更為關注異常類別信息，進而作出更為精準的預測。在此背景下，由于語義分割任務要求需要預測每一像素點的類別，這使得語義分割任務相較于其他視覺任務更為復雜，涉及的相關背景的技術較少,主要集中在兩個方面：一是使用含有異常數據的數據集訓練或者引入生成器生成異常數據用來訓練模型；二是基于一個直覺即異常實例獲得的檢測分數應比分布內實例的檢測分數低，故使用預測分數MSP和maxlogits的負值作為異常分數。然而上述方法存在著過度依賴異常數據質量以及對異常目標檢出率低的問題，這大大限制了其實際中的應用。因此，設計一種解決上述問題的未知異常障礙物檢測系統及方法是必要的。

發明內容

本發明的目的就是為了克服上述現有技術缺陷而提供一種復雜場景的未知異常障礙物識別方法及系統。本發明基于一思路：模型應將有限的注意力放在不確定性高的區域，且對于高注意力區域模型應給予相比于低注意力區域更多信息，進而使得模型預測一未知注意力矩陣，進而通過注意力矩陣判別不確定性區域，以達到未知異常障礙物識別的目的。為了訓練模型對不確定區域生成較高的注意力值，本發明使用提示方法，真值信息不僅用于計算損失函數，還用于在前向傳播過程中給予模型一定的提示，以此來引導模型對不確定區域輸出較高注意力權重來使損失函數降低，達到發明目的。

一種復雜場景未知異常障礙物識別方法，包括以下步驟：

步驟1:收集所應用場景的數據集，獲得場景數據，并建立神經網絡模型；

步驟2:確定特征提取網絡結構，用于從場景數據中提取并生成用于解碼器網絡語義分割結果的高維特征，再由高維特征得到特征矩陣F；

步驟3:確定未知注意力生成矩陣網絡結構，根據所述特征矩陣F生成注意力權重矩陣，并根據所述注意力權重矩陣與輸入特征加權，生成用于預測像素類別的注意力加權特征矩陣；

步驟4:確認特征解碼器模塊神經網絡，對所述注意力加權特征矩陣生成預測結果；

步驟5：根據所述注意力權重矩陣生成真值提示矩陣；

步驟6:將生成的真值提示矩陣輸入給語義分割結果輸出解碼器網絡模型，得到加入提示后的預測結果；