[發明專利]一種機器數據在線處理方法及系統

有效

• 申請號: 201710957384.X
• 申請日: 2017-10-16
• 公開（公告）號: CN107729476B
• 公開（公告）日: 2020-07-24
• 發明（設計）人: 程明;楊寧;魏昕路;楊銳;王晨
• 申請（專利權）人: 昆侖智匯數據科技(北京)有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/25;G06F9/54
• 代理公司: 北京潤捷智誠知識產權代理事務所(普通合伙) 11831
• 代理人: 孫巍

1.一種機器數據在線處理方法，其特征在于，包括:

對實時采集的機器數據進行元數據識別，將無法識別的異常機器數據緩存到異常消息隊列；

對所述異常消息隊列中的異常機器數據進行分類，以將所述異常機器數據中由于未注冊元數據而導致無法識別的異常數據存放在第一異常目錄；

讀取所述第一異常目錄中的異常數據，抽取該異常數據中包含的元數據，將所述元數據注冊到元數據管理模塊，并對所述第一異常目錄中的成功進行元數據注冊的異常數據添加注冊標識；

提取所述第一異常目錄中添加有注冊標識的數據，將提取出的數據導入存放有有效機器數據的有效數據目錄。

2.根據權利要求1所述的方法，其特征在于，所述方法還包括：

周期性地對所述有效數據目錄中的數據添加固定標記；

定時掃描所述有效數據目錄，將所述有效數據目錄中添加有固定標記的數據批量導入指定的文件目錄。

3.根據權利要求1或2所述的方法，其特征在于，對所述異常消息隊列中的異常機器數據進行分類，包括：

根據預設的數據過濾邏輯提取所述異常消息隊列中的數據格式非法而導致無法識別的異常數據，并將該部分異常數據存放在第二異常目錄；

將所述異常消息隊列中的其他機器數據劃分為由于未注冊元數據而導致無法識別的異常數據。

4.根據權利要求1或2所述的方法，其特征在于，在所述將所述元數據注冊到元數據管理模塊之后，所述方法還包括:

對所述第一異常目錄中的沒有成功進行元數據注冊的異常數據添加處理次數標記；

當再次對所述第一異常目錄中的異常數據進行讀取時，不再對對應的處理次數標記大于預設值的異常數據進行讀取。

5.一種機器數據在線處理系統，其特征在于，包括:

識別模塊，用于對實時采集的機器數據進行元數據識別，將無法識別的異常機器數據緩存到異常消息隊列；

分類模塊，用于對所述異常消息隊列中的異常機器數據進行分類，以將所述異常機器數據中由于未注冊元數據而導致無法識別的異常數據存放在第一異常目錄；

注冊模塊，用于讀取所述第一異常目錄中的異常數據，抽取該異常數據中包含的元數據，將所述元數據注冊到元數據管理模塊，并對所述第一異常目錄中的成功進行元數據注冊的異常數據添加注冊標識；

提取模塊，用于提取所述第一異常目錄中添加有注冊標識的數據，將提取出的數據導入存放有有效機器數據的有效數據目錄。

6.根據權利要求5所述的系統，其特征在于，所述系統還包括：

標記模塊，用于周期性地對所述有效數據目錄中的數據添加固定標記；

數據導入模塊，用于定時掃描所述有效數據目錄，將所述有效數據目錄中添加有固定標記的數據批量導入指定的文件目錄。

7.根據權利要求5或6所述的系統，其特征在于，所述分類模塊，具體用于根據預設的數據過濾邏輯提取所述異常消息隊列中的數據格式非法而導致無法識別的異常數據，并將該部分異常數據存放在第二異常目錄；將所述異常消息隊列中的其他機器數據劃分為由于未注冊元數據而導致無法識別的異常數據。

8.根據權利要求6所述的系統，其特征在于，所述標記模塊，還用于在所述注冊模塊將所述元數據注冊到元數據管理模塊之后，對所述第一異常目錄中的沒有成功進行元數據注冊的異常數據添加處理次數標記；當再次對所述第一異常目錄中的異常數據進行讀取時，不再對對應的處理次數標記大于預設值的異常數據進行讀取。

9.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該程序被處理器執行時實現如權利要求1-4任一項所述方法的步驟。

10.一種計算機設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述程序時實現如權利要求1-4任一項所述方法的步驟。