[發明專利]一種基于數據增強的分布外異常樣本檢測方法

在審

• 申請號: 202110635014.0
• 申請日: 2021-06-08
• 公開（公告）號: CN113392890A
• 公開（公告）日: 2021-09-14
• 發明（設計）人: 王崇駿;姜文玉;杜云濤;朱志威;李寧
• 申請（專利權）人: 南京大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N20/00
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 孫建朋

本發明提出了一種基于數據增強的分布外異常樣本檢測方法。特征提取階段，使用自動編碼器算法的編碼器部分，提取輸入分布內樣本的特征向量；數據增強和重建階段，使用基于特征的數據增強方法對特征提取階段提取到的特征進行變換，并使用自動編碼器的解碼器部分，從增強后的特征向量中生成數量充足且包含語義信息的輔助分布外異常樣本數據集；樣本標記階段，將原始分類器對重建樣本的預測準確度作為分布外異常樣本的軟標簽值；分類器重訓練階段，聯合包含硬標簽監督信號的分布內訓練數據集及包含軟標簽監督信號輔助分布外異常樣本數據集，重新訓練分類器；本發明改善了深度神經網絡模型在預測分布外異常樣本時的不確定性，提升了模型的安全性。

技術領域

本發明屬于可信機器學習領域，尤其涉及一種基于數據增強的分布外異常樣本檢測方法。

背景技術

當機器學習分類器被應用于真實世界的任務中時，它們往往會失敗當訓練和測試數據集分布不同的時候。更糟糕的是，這些分類器經常安靜地失敗同時提供高度自信的預測，不幸地是，這些預測是不正確的。如果分類器不能指出它們可能出錯的時間，就會限制它們的使用，甚至會導致嚴重的事故。例如，一個醫學疾病診斷模型可能會始終如一地進行高度自信的分類，即使它應該標記出需要人工干預的困難樣例。由此產生的未標記的錯誤診斷可能會阻礙機器學習技術在醫學領域的未來發展。更普遍且重要的是，估計模型何時犯錯對于人工智能安全而言是個至關重要的問題。

這些過度自信的預測經常產生自softmax層因為softmax層概率使用快速增長的指數函數計算。因此，對于softmax層輸入微小的增加會帶來輸出分布上的巨大改變。因為softmax函數是指示函數的平滑近似，因此對于分布外樣本而言很難看到一個均勻分布輸出。

發明內容

本發明目的在于提供一種基于數據增強的分布外異常樣本檢測方法,以解決模型預測的不確定性和模型安全性低的技術問題。

為解決上述技術問題，本發明的具體技術方案如下：

一種基于數據增強的分布外異常樣本檢測方法，包括以下步驟：

步驟1、特征提取，使用自動編碼器算法，提取輸入分布內樣本的特征向量；

步驟2、數據增強和重建，使用基于特征的數據增強方法對特征提取階段提取到的特征進行變換，接著使用自動編碼器的解碼部分從增強后的特征向量中生成數量充足且包含語義信息的輔助分布外異常樣本數據集，其中數量充足指的是特征向量所對應的軟標簽信息在輸出空間分布均勻；

步驟3、樣本標記，將原始分類器對重建樣本的預測準確度作為分布外異常樣本軟標簽值；

步驟4、分類器重訓練，聯合包含硬標簽監督信號的分布內訓練數據集及包含軟標簽監督信號的分布外異常樣本數據集，重新訓練分類器。

進一步的，步驟1包括以下步驟：

步驟1.1、將輸入樣本通過編碼器映射到特征空間，得到抽象特征；

步驟1.2、將抽象特征映射回原始空間得到重構樣本；

步驟1.3、通過最小化重構誤差來同時優化編碼器和解碼器，得到最優的模型參數；

步驟1.4、輸出針對樣本輸入的抽象特征表示。

進一步的，步驟2包括以下步驟：

步驟2.1、將樣本的抽象特征表示對應到特征空間中的某點，按照歐氏距離找出該點的K個最近鄰樣本；

步驟2.2、對這K個樣本和原始樣本在特征空間進行線性插值，得到新樣本的抽象特征表示；

步驟2.3、重復以上步驟，直到生成充足數量的抽象特征表示；

步驟2.4、根據增強后的抽象特征，利用原始抽象特征對應的自動編碼器的解碼器部分進行樣本重建。