[發(fā)明專利]一種基于曲線數(shù)據(jù)的異常檢測方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201911281975.5
• 申請日: 2019-12-13
• 公開（公告）號: CN111159961A
• 公開（公告）日: 2020-05-15
• 發(fā)明（設計）人: 劉禹延;藍帆
• 申請（專利權(quán)）人: 杭州廣立微電子有限公司
• 主分類號: G06F30/30
• 分類號: G06F30/30;G06K9/62
• 代理公司: 杭州豐禾專利事務所有限公司 33214
• 代理人: 王靜

本發(fā)明涉及一種基于曲線數(shù)據(jù)的異常檢測方法及系統(tǒng)，具體包括以下步驟：步驟（1）：第一級異常檢測；將曲線數(shù)據(jù)輸入訓練好的AE模型進行異常檢測，獲取瓶頸層的k維數(shù)據(jù)和實際輸出數(shù)據(jù)，并利用損失函數(shù)計算實際輸出數(shù)據(jù)的loss值；步驟（2）：第二級異常檢測；將步驟（1）獲得的瓶頸層的k維數(shù)據(jù)和loss值，作為（）維數(shù)據(jù)輸入第二級異常檢測器進行異常檢測，輸出異常值；當異常值大于預設的閾值，則判定進行檢測的曲線數(shù)據(jù)為異常數(shù)據(jù)；所述第二級異常檢測器采用常規(guī)的異常檢測算法實現(xiàn)。本發(fā)明可以快速準確地檢測出曲線數(shù)據(jù)中的異常數(shù)據(jù)。

技術(shù)領域

本發(fā)明是關于計算機技術(shù)領域，特別涉及一種基于曲線數(shù)據(jù)的異常檢測方法及系統(tǒng)。

背景技術(shù)

集成電路設計測試技術(shù)迅速發(fā)展，很多測試手段，如可尋址測試方法，尤其是DenseArray，會快速產(chǎn)生大量的測試數(shù)據(jù)，在測試數(shù)據(jù)中很多是曲線數(shù)據(jù)，如MOS管的I-V曲線等。通常為了測量工藝參數(shù)變動(process variation)，需要測量大量同類的數(shù)據(jù)，因此測量會產(chǎn)生大量的I-V曲線等數(shù)據(jù)，但是其中有些數(shù)據(jù)是異常數(shù)據(jù)，產(chǎn)生異常數(shù)據(jù)的原因有很多，可能是在制造過程中產(chǎn)生了錯誤(mistake)，也可能是測試過程出現(xiàn)了測量偏差。

為了盡量避免由于這些原因再次產(chǎn)生錯誤，需要排查產(chǎn)生異常數(shù)據(jù)的原因，比如觀察測試芯片上是否出現(xiàn)硬件的制造失誤，檢查測試算法是否存在軟件的設計錯誤等；另外，在后續(xù)進行處理數(shù)據(jù)時，也應該將異常數(shù)據(jù)排除在外，以正常的數(shù)據(jù)為準。而這些測試產(chǎn)生的數(shù)據(jù)，混雜有異常數(shù)據(jù)和隨工藝參數(shù)變動的正常數(shù)據(jù)，基于上述原因，首先需要在所有測得的數(shù)據(jù)中查找出異常數(shù)據(jù)，也就是要進行異常檢測。

現(xiàn)行異常檢測算法很多且很成熟，但是對曲線數(shù)據(jù)的針對性不強，這些檢測算法大都對檢測曲線數(shù)據(jù)的異常數(shù)據(jù)精度不高。目前常用的異常檢測算法有下述幾類：

1)基于臨近的異常檢測算法：LOF(local outlier factor)和CBLOF(cluster-based local outlier factor)是兩個最經(jīng)典的基于臨近的異常檢測算法，但是在處理曲線數(shù)據(jù)時，由于曲線數(shù)據(jù)的高維度特性，維度災難(curse of dimensionality)使得距離不再能夠作為精確檢測異常的特征，另外，此類基于臨近的算法忽略了每一維度數(shù)據(jù)間的相關性。同樣地，KNN、ABOD等這些算法也同樣存在缺陷。

2)基于數(shù)理統(tǒng)計的異常檢測算法：HBOS(Histogram-based outlier score)和XBOS是基于數(shù)理統(tǒng)計的算法代表，其最大的問題同樣是不能體現(xiàn)出每一維度數(shù)據(jù)間的相關性，而曲線數(shù)據(jù)最重要的特征就蘊藏在這相關性之中。

3)基于基本機器學習模型的異常檢測算法：One-class SVM(OCSVM)和AutoEncoder(AE)是比較常見的基于基本機器學習模型的算法。其中，OCSVM與基于臨近的異常檢測算法類似，不能將每一維度數(shù)據(jù)聯(lián)系。而AE通過神經(jīng)網(wǎng)絡結(jié)構(gòu)，能將數(shù)據(jù)壓縮到低維度又還原為原始數(shù)據(jù)，AE的神經(jīng)網(wǎng)絡具有全連接性，即考慮到了不同維度數(shù)據(jù)的相互關系。AE有兩種判斷是否為異常數(shù)據(jù)的方法：①將原始數(shù)據(jù)encode壓縮的結(jié)果作為score，score異常的數(shù)據(jù)即為異常數(shù)據(jù)；②將最后恢復的loss作為score，score異常的數(shù)據(jù)即為異常數(shù)據(jù)；但由于異常數(shù)據(jù)所占總數(shù)據(jù)量的比例不確定，所以很難確定score的有效計算方式。

綜上可知，目前還沒有一種能針對曲線數(shù)據(jù)進行精確且高效的異常檢測方法。

發(fā)明內(nèi)容

本發(fā)明的主要目的在于克服現(xiàn)有技術(shù)中的不足，提供一種結(jié)合異常檢測模型和損失函數(shù)來針對曲線數(shù)據(jù)進行異常檢測的方法及系統(tǒng)。為解決上述技術(shù)問題，本發(fā)明的解決方案是：

提供一種基于曲線數(shù)據(jù)的異常檢測方法，具體包括下述步驟：

步驟(1)：第一級異常檢測；