[發明專利]用于流數據的離群值檢測

有效

• 申請號: 201780005917.2
• 申請日: 2017-01-06
• 公開（公告）號: CN108475287B
• 公開（公告）日: 2022-05-13
• 發明（設計）人: N·米施拉;D·布里克;S·古哈;O·J·斯科瑞沃斯
• 申請（專利權）人: 亞馬遜科技公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06N20/00;G06F16/2458;G06N5/00
• 代理公司: 中國貿促會專利商標事務所有限公司 11038
• 代理人: 鄒丹

關于數據集的數據記錄的基線集的相應樣本產生隨機切割樹，將針對所述數據集執行離群值檢測。為構造特定的隨機切割樹，使用迭代分割技術，其中分割給定的數據記錄集所沿的屬性基于所述屬性的值范圍來選擇。關于流的最新接收的數據記錄，至少部分基于表示所述數據記錄的節點在特定隨機切割樹中的可能的插入位置來確定離群值得分，而不必修改所述隨機切割樹。

背景技術

由于多年來數據存儲的成本已降低并且由于將計算基礎設施的各種元件互連的能力已改進，因此可潛在地收集并分析與多種應用程序有關的越來越多的數據。對從嵌入在飛機發動機、汽車、健康監視裝置或復雜的機器內的各種位置處的傳感器收集的數據進行分析可用于許多目的，例如預防維護、積極主動的與健康有關的警報、提高效率以及降低成本。從線上零售商的網站收集的流數據可用于關于應存儲在不同倉庫位置處的不同產品的量做出更加明智的決定，等等。所收集的關于機器服務器的數據還可經分析以防止服務器故障。

流數據的量增加已伴隨有商用硬件的使用增加(且在一些情況下，可通過增加對商用硬件的使用而成為可能)。用于商用硬件的虛擬化技術的出現已就管理用于許多類型的應用程序的大規模計算資源提供益處，從而允許多個客戶高效且安全地共享各種計算資源由。例如，虛擬化技術可通過將由單一物理計算機器托管的一個或多個虛擬機提供給每一用戶來允許在多個用戶之間共享單一物理計算機器。每一虛擬機可被認為是充當不同的邏輯計算系統的軟件模擬，所述邏輯計算系統向用戶提供其為給定硬件計算資源的唯一操作人員和管理員的錯覺，同時也在各種虛擬機之間提供應用程序隔離和安全性。除計算平臺外，一些大型組織還提供使用虛擬化技術建立的各種類型的存儲服務。使用此類存儲服務，可以成本有效的方式以期望的可用性和耐久性水平存儲大量的流數據，其中給定的物理存儲服務可能被用于保持許多不同服務客戶的數據記錄。

當可產生流數據的量增加時，對作用于流數據的分析工具的需求也已增加。例如，對于一些安全性相關的應用程序或健康相關的應用程序，相當快速地識別數據離群值(即，不尋常的數據記錄或數據模式)的能力可為至關重要的。令人遺憾的是，多年來已針對此類任務研發出的機器學習和統計算法中的許多算法主要設計成記住靜態數據集。因此，高效地識別高量流內的異常數據仍為具有挑戰性的問題。

附圖說明

圖1圖示根據至少一些實施方案的示例系統環境，其中可對流數據記錄執行離群值檢測。

圖2提供根據至少一些實施方案的具有一對離群值的雙屬性觀察記錄的流的一般示例，和離群值檢測算法的高級概述。

圖3圖示根據至少一些實施方案的在流觀察記錄屬性值的分布中隨時間的移位的示例，所述移位可導致改變一些觀察記錄的離群值狀態。

圖4和圖5共同地圖示根據至少一些實施方案的用于使用隨機切割樹來從數據集識別出離群值的技術的初始步驟。

圖6圖示根據至少一些實施方案的示例情境，其中表示觀察記錄的節點在隨機切割樹中所處的樹深度可用作觀察記錄的離群值狀態的指示。

圖7圖示根據至少一些實施方案的隨機切割樹的示例集，所述隨機切割樹可概率性地針對流數據集創建并更新。

圖8圖示根據至少一些實施方案的用于識別流數據集中的離群值的距離和稀疏性度量的使用。

圖9圖示根據至少一些實施方案的基于范圍的分割技術，所述基于范圍的分割技術可在用于流數據的離群值檢測算法中被采用。

圖10圖示根據至少一些實施方案的隨機切割樹的示例，所述隨機切割樹可能作為將新觀察記錄插入到用于樹的樣本中的結果而產生。

圖11圖示根據至少一些實施方案的對隨機切割樹的改變的示例，所述改變由從用于樹的樣本刪除觀察記錄導致。

圖12圖示根據至少一些實施方案的機器學習服務，在所述機器學習服務處可實施流數據以及靜態數據集的分析。