[發明專利]一種復雜場景的未知異常障礙物識別方法及系統

在審

• 申請號: 202210607410.7
• 申請日: 2022-05-31
• 公開（公告）號: CN114926819A
• 公開（公告）日: 2022-08-19
• 發明（設計）人: 張衛東;任相璇;楊云祥;覃善興;沈春華;柏林;熊明磊;常建;賀通;黃宴委
• 申請（專利權）人: 海南大學
• 主分類號: G06V20/58
• 分類號: G06V20/58;G06V10/26;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 佛山知正知識產權代理事務所(特殊普通合伙) 44483
• 代理人: 楊情情

1.一種復雜場景未知異常障礙物識別方法，其特征在于，包括以下步驟：

步驟1：收集所應用場景的數據集，獲得場景數據，并建立神經網絡模型；

步驟2：確定特征提取網絡結構，用于從場景數據中提取并生成用于解碼器網絡語義分割結果的高維特征，再由高維特征得到特征矩陣F；

步驟3：確定未知注意力生成矩陣網絡結構，根據所述特征矩陣F生成注意力權重矩陣，并根據所述注意力權重矩陣與輸入特征加權，生成用于預測像素類別的注意力加權特征矩陣；

步驟4：確認特征解碼器模塊神經網絡，對所述注意力加權特征矩陣生成預測結果；

步驟5：根據所述注意力權重矩陣生成真值提示矩陣；

步驟6：將生成的真值提示矩陣輸入給語義分割結果輸出解碼器網絡模型，得到加入提示后的預測結果；

步驟7：計算神經網絡模型的maxlogit得分，根據得分與注意力權重矩陣一起預測未知異常障礙物區域，獲得語義分割輸出；

步驟8：確定損失函數，利用損失函數反向傳播訓練神經網絡模型；

步驟9：神經網絡模型訓練完成后，進行障礙物識別并輸出障礙物識別結果。

2.根據權利要求1所述的一種復雜場景未知異常障礙物識別方法，其特征在于，

所述特征矩陣F∈R^{N×H′×W′}，

其中，N代表高維特征通道數，W′、H′代表特征矩陣寬與高。

3.根據權利要求1所述的一種復雜場景未知異常障礙物識別方法，其特征在于，步驟3的具體步驟包括：

采用平均池化層加卷積層的方式生成與輸入特征相同寬高的注意力圖；

將注意力圖沿寬高展平為(W*H)張量輸入softmax中以獲得和為1的注意力得分，即∑_h，wm_h，w＝1；其中W、H代表輸入圖片的寬與高；

將注意力權重矩陣M與特征矩陣F結合為F_att作為注意力加權特征矩陣，傳入解碼器用于預測像素類別。

4.根據權利要求3所述的一種復雜場景未知異常障礙物識別方法，其特征在于，注意力加權特征矩陣F_att的生成公式為：

F_att＝F×M+F。

5.根據權利要求1所述的一種復雜場景未知異常障礙物識別方法，其特征在于，根據所述注意力權重矩陣生成真值提示矩陣，具體包括：

假設真值為G∈R^H×W，通過將其對應位置的類別序號g_h，w編碼為one-hot向量，將其拓展為G′∈R^C×H×W，進而得到真值提示矩陣H₁＝G’×M，其中H₁∈R^C×H×W。

6.根據權利要求5所述的一種復雜場景未知異常障礙物識別方法，其特征在于，加入提示后的預測結果為P為：

P＝P’+θH₁

其中，θ為權重系數，P’為步驟四生成的預測結果。

7.根據權利要求1所述的一種復雜場景未知異常障礙物識別方法，其特征在于，所述步驟8中損失函數為：

l＝l_s+αl_a

其中l_s為分割損失函數，l_a為注意力損失函數，其中α為權重系數；

計算預測正確像素所對應未知權重均值a，則注意力損失函數公式為：

其中β為權重系數，m_c，w，h與p_c，w，h分別代表對應位置注意力系數和預測輸出概率。

8.一種復雜場景的未知異常障礙物識別系統，其特征在于，包括：

特征編碼器模塊：用于對輸入圖片進行特征編碼，獲取圖片中的特征信息，并建立神經網絡模型；

未知注意力生成模塊：用于網絡結合所述特征信息生成相同大小的未知注意力矩陣，未知注意力矩陣所有值之和為1；

注意力信息提示模塊：用于根據所述未知注意力矩陣給予注意力得分高的像素以一定的數據集真值信息作為提示；

語義分割結果預測模塊：用于解碼神經網絡模型的特征輸出像素為某一類別的概率，并結合概率得分以及注意力值判斷異常障礙物區域。