[發明專利]用于數據分析的計算機實現的方法、計算機程序產品以及系統

在審

• 申請號: 201980058056.3
• 申請日: 2019-09-05
• 公開（公告）號: CN112639834A
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 里卡德·舍格倫;約翰·特利格
• 申請（專利權）人: 賽多利斯司特蒂姆數據分析公司
• 主分類號: G06N3/04
• 分類號: G06N3/04
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;王艷春

提供了一種用于數據分析的計算機實現的方法。該方法包括：獲得用于處理圖像的深度神經網絡(100)和用于訓練深度神經網絡的訓練數據集的至少一部分，該深度神經網絡包括多個隱藏層，訓練數據集包括可以輸入到深度神經網絡的多個可能觀測值；獲得從多個隱藏層中的至少一個輸出的第一中間輸出值集，通過輸入訓練數據集的所述至少一部分中包括的可能的輸入圖像中的不同一者來獲得第一中間輸出值集中的每一個；使用第一中間輸出值集來構建/擬合潛變量模型，該潛變量模型提供第一中間輸出值集到子空間中的第一投影值集的映射，該子空間具有低于中間輸出集的維度的維度；接收要輸入到深度神經網絡的觀測值；獲得通過將接收到的觀測值輸入深度神經網絡而從深度神經網絡的多個隱藏層中的至少一個輸出的第二中間輸出值集；使用潛變量模型來將第二中間輸出值集映射到第二投影值集；以及基于潛變量模型和第二投影值集而相對于訓練數據集來確定接收到的觀測值是否為異常值。

技術領域

本申請涉及數據分析，具體地，非結構化數據中的異常值檢測的一種計算機實現的方法、一種計算機程序產品以及一種系統。

背景技術

深度學習是依賴于一種類型的統計模型(被稱為深度神經網絡)的機器學習領域。深度神經網絡可以是具有輸入層、輸出層以及在輸出層與輸出層之間的多個隱藏層的人工神經網絡。

由于深度神經網絡學習到的強大轉換，使用深度神經網絡的深度學習在很多應用中已經變得非常普遍。

然而，當在關鍵系統(諸如自動駕駛車輛或發電站控制系統)中采用深度學習時，理解何時不應信任由深度學習系統提供的預測可能是至關重要的。

換句話說，可能重要的是，不僅知道由深度學習系統提供的預測是否準確，而且知道深度學習系統究竟是否應預測。可以通過理解所學習的表示的極限并且通過辨識何時遇到深度學習系統未辨識出的數據來改進自主決策。

已經提出許多不同的方法以允許深度神經網絡描述預測的不確定性。這些方法中有許多都是基于訓練深度神經網絡以在預測期間執行貝葉斯推斷而不是點推斷。這意味著，網絡被訓練來預測可能的點的分布，而不是預測單個點。直覺上，模型無法解釋的觀測值將具有廣泛的分布或較大不確定性。用于執行貝葉斯預測的一個普遍的解決方案是在2016年國際機器學習會議第1050至1059頁的Y.Gal和Z.Gharamani的“Dropout as aBayesian approximation:Representing model uncertainty in deep learning”中公開的所謂蒙特-卡羅丟棄法(MC-丟棄法)。MC-丟棄法可以應用于使用“丟棄法”訓練的神經網絡，所述丟棄法是用于通過在訓練階段期間丟棄(或換句話說，忽略)神經網絡中的一些單元(例如，細胞、節點)來減少神經網絡中的過度擬合的正則化技術。MC-丟棄法通過對預測使用所謂的蒙特-卡羅采樣而同時在預測時間期間隨機地消除或丟棄網絡細胞來針對每次預測進行多次推斷。不同的預測因丟棄法而改變并描述預測分布。然后可以通過計算得到的分布的熵或方差來量化預測不確定性。