[發明專利]數據處理方法、裝置、存儲介質和處理器

有效

• 申請號: 201710980992.2
• 申請日: 2017-10-17
• 公開（公告）號: CN109685217B
• 公開（公告）日: 2021-10-15
• 發明（設計）人: 李剛毅;趙小光;譚國蘋;趙國陽;劉剛;胡亞平;王會臣;劉曉靜;王平平;馬增納
• 申請（專利權）人: 博彥科技股份有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 趙囡囡

1.一種數據處理方法，其特征在于，包括：

確定產生待處理數據，其中，所述待處理數據為日志文件，用于記錄計算機的系統操作事件；

根據數據模型對所述待處理數據進行類別區分得到所述待處理數據的類型，其中，所述數據模型是使用訓練數據通過機器學習算法訓練得到的；

根據所述待處理數據的類型進行關聯性預測，其中，所述關聯性預測用于預測在產生所述類型的待處理數據之后發生的事件；

其中，根據所述待處理數據的類型進行關聯性預測包括：

通過關聯性預測模型對產生類型的待處理數據進行關聯性預測，其中，關聯性預測模是使用關聯性訓練數據通過機器學習算法訓練得到的；

所述方法還包括以下至少之一：

將訓練好的用于對所述待處理數據進行類別區分的所述數據模型發布成網絡服務；

將訓練好的用于對產生所述類型的待處理數據進行關聯性預測的所述關聯性預測模型發布成網絡服務；

其中，在根據數據模型對待處理數據進行類別區分之前，所述方法還包括：

判斷所述待處理數據是否包括預定格式的數據；

在判斷結果為是的情況下，從所述待處理數據中刪除或替換所述預定格式的數據。

2.根據權利要求1所述的方法，其特征在于，在根據所述數據模型對所述待處理數據進行類別區分分類之前，所述方法還包括：

對所述待處理數據進行規范化處理，其中，所述規范化處理包括以下至少之一：數據格式的轉換、非標準數據值映射為標準值。

3.根據權利要求1所述的方法，其特征在于，根據所述待處理數據的類型進行關聯性預測包括：

利用預設關聯性預測算法計算不同類型的所述待處理數據在預定條件下的關聯性概率，其中，所述預定條件包括預定時間范圍和/或在預定物理范圍，所述預定物理范圍包括產生所述待處理數據的生成位置；

根據不同類型的所述待處理數據之間的所述關聯性概率，合并不同類型的所述待處理數據；和/或

根據不同類型的所述待處理數據之間的所述關聯性概率，預測在產生待處理數據的情況下，產生與所述待處理數據相關聯的另一種數據的概率。

4.根據權利要求3所述的方法，其特征在于，根據不同類型的所述待處理數據之間的所述關聯性概率，合并不同類型的所述待處理數據包括：

判斷不同類型的所述待處理數據之間的所述關聯性概率是否高于預定閾值；

在所述關聯性概率高于預定閾值的情況下，合并所述關聯性概率對應的不同類型的所述待處理數據。

5.一種數據處理裝置，其特征在于，包括：

確定單元，用于確定產生待處理數據，其中，所述待處理數據為日志文件，用于記錄計算機的系統操作事件；

區分單元，用于根據數據模型對所述待處理數據進行類別區分得到所述待處理數據的類型，其中，所述數據模型是使用訓練數據通過機器學習算法訓練得到的；

預測單元，用于根據所述待處理數據的類型進行關聯性預測，其中，所述關聯性預測用于預測在產生所述類型的待處理數據之后發生的事件；

其中，所述預測單元還包括：

預測模塊，用于通過關聯性預測模型對產生所述類型的待處理數據進行關聯性預測，其中，所述關聯性預測模型是使用關聯性訓練數據通過機器學習算法訓練得到的；

所述裝置還包括以下至少之一：

第一發布單元，用于將訓練好的用于對所述待處理數據進行類別區分的所述數據模型發布成網絡服務；

第二發布單元，用于將訓練好的用于對產生所述類型的待處理數據進行關聯性預測的所述關聯性預測模型發布成網絡服務；

其中，所述裝置還包括：

判斷單元，用于在根據所述數據模型對所述待處理數據進行類別區分之前，判斷所述待處理數據是否包括預定格式的數據；

刪除單元，用于在判斷結果為是的情況下，從所述待處理數據中刪除所述預定格式的數據；和/或

替換單元，用于在判斷結果為是的情況下，從所述待處理數據中替換所述預定格式的數據。