[發明專利]一種機器數據在線處理方法及系統有效

申請號：	201710957384.X	申請日：	2017-10-16
公開（公告）號：	CN107729476B	公開（公告）日：	2020-07-24
發明（設計）人：	程明;楊寧;魏昕路;楊銳;王晨	申請（專利權）人：	昆侖智匯數據科技(北京)有限公司
主分類號：	G06F16/215	分類號：	G06F16/215;G06F16/25;G06F9/54
代理公司：	北京潤捷智誠知識產權代理事務所(普通合伙) 11831	代理人：	孫巍
地址：	100089 北京市海淀***	國省代碼：	北京;11
權利要求書：	查看更多	說明書：	查看更多
摘要：
搜索關鍵詞：	一種機器數據在線處理方法系統
鉆瓜網技術展會專利詞庫專利權人專利榜在售專利公布日期熱門專利

【說明書】：

本發明提供一種機器數據在線處理方法及系統，該方法包括：對實時采集的機器數據進行元數據識別，將無法識別的異常機器數據緩存到異常消息隊列；對異常消息隊列中的異常機器數據分類，將異常機器數據中未注冊元數據的異常數據存放在第一異常目錄；讀取第一異常目錄中的異常數據，抽取該異常數據中包含的元數據，將元數據注冊到元數據管理模塊，對第一異常目錄中的成功進行元數據注冊的異常數據添加注冊標識；提取第一異常目錄中添加有注冊標識的數據，將提取出的數據導入存放有有效機器數據的有效數據目錄。本發明能夠從實時接收的機器數據中自動識別出未注冊元數據的異常數據，并直接從中抽取出元數據，有效提高了機器數據的處理效率和準確率。

技術領域

本發明涉及機器數據在線處理技術領域，尤其涉及一種機器數據在線處理方法及系統。

背景技術

隨著互聯網技術的廣泛應用，在科技行業，以及傳統行業與互聯網行業的結合的大背景下，企業的機器數據的增長呈現指數級，這些數據含有寶貴的價值。

目前，機器數據采集和管理系統中，元數據通常有缺失定義的情況，比如設備模板，設備實例和設備模板的映射關系等，進而導致這些數據無法被識別。其中，元數據是一種關于數據的數據，一般是結構化數據(如存儲在數據庫里的數據，規定了字段的長度、類型等)。具體的，對于機器數據而言，元數據是指從機器數據中抽取出來的用于說明其特征、內容的結構化的數據。對此，現有技術中通常需要采用人工方式，實現對元數據的抽取和對所缺失元數據的添加，以保證系統中的各分布式組件能夠準確地對采集到的機器數據進行實時分析、批量處理和查詢等后續處理。但是這種方式不僅耗時耗力，效率比較低，而且容易出錯，準確率差。

發明內容

鑒于上述問題，提出了本發明以便提供一種克服上述問題或者至少部分地解決上述問題的機器數據在線處理方法及系統。

本發明的一個方面，提供了一種機器數據在線處理方法，包括:

對實時采集的機器數據進行元數據識別，將無法識別的異常機器數據緩存到異常消息隊列；

對所述異常消息隊列中的異常機器數據進行分類，以將所述異常機器數據中由于未注冊元數據而導致無法識別的異常數據存放在第一異常目錄；

讀取所述第一異常目錄中的異常數據，抽取該異常數據中包含的元數據，將所述元數據注冊到元數據管理模塊，并對所述第一異常目錄中的成功進行元數據注冊的異常數據添加注冊標識；

提取所述第一異常目錄中添加有注冊標識的數據，將提取出的數據導入存放有有效機器數據的有效數據目錄。

其中，所述方法還包括：

周期性地對所述有效數據目錄中的數據添加固定標記；

定時掃描所述有效數據目錄，將所述有效數據目錄中添加有固定標記的數據批量導入指定的文件目錄。

其中，對所述異常消息隊列中的異常機器數據進行分類，包括：

根據預設的數據過濾邏輯提取所述異常消息隊列中的數據格式非法而導致無法識別的異常數據，并將該部分異常數據存放在第二異常目錄；