[發(fā)明專利]數(shù)據(jù)處理方法、裝置、存儲介質(zhì)和處理器

有效

• 申請?zhí)枺?/td>: 201710980992.2
• 申請日: 2017-10-17
• 公開（公告）號: CN109685217B
• 公開（公告）日: 2021-10-15
• 發(fā)明（設(shè)計）人: 李剛毅;趙小光;譚國蘋;趙國陽;劉剛;胡亞平;王會臣;劉曉靜;王平平;馬增納
• 申請（專利權(quán)）人: 博彥科技股份有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00
• 代理公司: 北京康信知識產(chǎn)權(quán)代理有限責(zé)任公司 11240
• 代理人: 趙囡囡

本發(fā)明公開了一種數(shù)據(jù)處理方法、裝置、存儲介質(zhì)和處理器。其中，該方法包括：確定產(chǎn)生待處理數(shù)據(jù)；根據(jù)數(shù)據(jù)模型對待處理數(shù)據(jù)進(jìn)行類別區(qū)分得到待處理數(shù)據(jù)的類型，其中，數(shù)據(jù)模型是使用訓(xùn)練數(shù)據(jù)通過機(jī)器學(xué)習(xí)算法訓(xùn)練得到的；根據(jù)待處理數(shù)據(jù)的類型進(jìn)行關(guān)聯(lián)性預(yù)測，其中，關(guān)聯(lián)性預(yù)測用于預(yù)測與產(chǎn)生類型的待處理數(shù)據(jù)之后發(fā)生的事件。本發(fā)明解決了現(xiàn)有技術(shù)無法根據(jù)歷史信息對將要發(fā)生的事件進(jìn)行預(yù)測的技術(shù)問題。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機(jī)領(lǐng)域，具體而言，涉及一種數(shù)據(jù)處理方法、裝置、存儲介質(zhì)和處理器。

背景技術(shù)

在計算機(jī)領(lǐng)域中，為了準(zhǔn)確確定計算機(jī)的運(yùn)行狀態(tài)，通常使用日志文件來記錄系統(tǒng)操作事件，進(jìn)而可以根據(jù)日志文件中記錄的歷史事件進(jìn)行查詢已經(jīng)發(fā)生過的事件，但是對于多子系統(tǒng)、多模塊架構(gòu)的復(fù)雜的系統(tǒng)，每個子系統(tǒng)和/或模塊可能存在分離的日志文件和檢測系統(tǒng)。因而無法綜合自動地分析各個子系統(tǒng)和/或模塊上發(fā)生的事件，揭露發(fā)生在不同子系統(tǒng)和/或模塊上發(fā)生的事件之間的關(guān)聯(lián)關(guān)系，從而快速實現(xiàn)問題定位和預(yù)測。

針對上述現(xiàn)有技術(shù)無法根據(jù)歷史信息對將要發(fā)生的事件進(jìn)行預(yù)測的問題，目前尚未提出有效的解決方案。

發(fā)明內(nèi)容

本發(fā)明實施例提供了一種數(shù)據(jù)處理方法、裝置、存儲介質(zhì)和處理器，以至少解決現(xiàn)有技術(shù)無法根據(jù)歷史信息對將要發(fā)生的事件進(jìn)行預(yù)測的技術(shù)問題。

根據(jù)本發(fā)明實施例的一個方面，提供了一種數(shù)據(jù)處理方法，包括：確定產(chǎn)生待處理數(shù)據(jù)；根據(jù)數(shù)據(jù)模型對所述待處理數(shù)據(jù)進(jìn)行類別區(qū)分得到所述待處理數(shù)據(jù)的類型，其中，所述數(shù)據(jù)模型是使用訓(xùn)練數(shù)據(jù)通過機(jī)器學(xué)習(xí)算法訓(xùn)練得到的；根據(jù)所述待處理數(shù)據(jù)的類型進(jìn)行關(guān)聯(lián)性預(yù)測，其中，所述關(guān)聯(lián)性預(yù)測用于預(yù)測在產(chǎn)生所述類型的待處理數(shù)據(jù)之后發(fā)生的事件。

進(jìn)一步地，在根據(jù)所述數(shù)據(jù)模型對所述待處理數(shù)據(jù)進(jìn)行類別區(qū)分分類之前，所述方法還包括：對所述待處理數(shù)據(jù)進(jìn)行規(guī)范化處理，其中，所述規(guī)范化處理包括以下至少之一：數(shù)據(jù)格式的轉(zhuǎn)換、非標(biāo)準(zhǔn)數(shù)據(jù)值映射為標(biāo)準(zhǔn)值。

進(jìn)一步地，根據(jù)所述待處理數(shù)據(jù)的類型進(jìn)行關(guān)聯(lián)性預(yù)測包括：利用預(yù)設(shè)關(guān)聯(lián)性預(yù)測算法計算不同類型的所述待處理數(shù)據(jù)在預(yù)定條件下的關(guān)聯(lián)性概率，其中，所述預(yù)定條件包括預(yù)定時間范圍和/或在預(yù)定物理范圍，所述預(yù)定物理范圍包括產(chǎn)生所述待處理數(shù)據(jù)的生成位置；根據(jù)不同類型的所述待處理數(shù)據(jù)之間的所述關(guān)聯(lián)性概率，合并不同類型的所述待處理數(shù)據(jù)；和/或根據(jù)不同類型的所述待處理數(shù)據(jù)之間的所述關(guān)聯(lián)性概率，預(yù)測在產(chǎn)生待處理數(shù)據(jù)的情況下，產(chǎn)生與所述待處理數(shù)據(jù)相關(guān)聯(lián)的另一種數(shù)據(jù)的概率。

進(jìn)一步地，根據(jù)不同類型的所述待處理數(shù)據(jù)之間的所述關(guān)聯(lián)性概率，合并不同類型的所述待處理數(shù)據(jù)包括：判斷不同類型的所述待處理數(shù)據(jù)之間的所述關(guān)聯(lián)性概率是否高于預(yù)定閾值；在所述關(guān)聯(lián)性概率高于預(yù)定閾值的情況下，合并所述關(guān)聯(lián)性概率對應(yīng)的不同類型的所述待處理數(shù)據(jù)。

根據(jù)本發(fā)明的又一個實施例，還提供了一種存儲介質(zhì)，所述存儲介質(zhì)包括存儲的程序，其中，所述程序運(yùn)行時執(zhí)行上述任一項所述的方法。

根據(jù)本發(fā)明的又一個實施例，還提供了一種處理器，所述處理器用于運(yùn)行程序，其中，所述程序運(yùn)行時執(zhí)行上述任一項所述的方法。

根據(jù)本發(fā)明實施例的另一方面，還提供了一種數(shù)據(jù)處理裝置，包括：確定單元，用于確定產(chǎn)生待處理數(shù)據(jù)；區(qū)分單元，用于根據(jù)數(shù)據(jù)模型對所述待處理數(shù)據(jù)進(jìn)行類別區(qū)分得到所述待處理數(shù)據(jù)的類型，其中，所述數(shù)據(jù)模型是使用訓(xùn)練數(shù)據(jù)通過機(jī)器學(xué)習(xí)算法訓(xùn)練得到的；預(yù)測單元，用于根據(jù)所述待處理數(shù)據(jù)的類型進(jìn)行關(guān)聯(lián)性預(yù)測，其中，所述關(guān)聯(lián)性預(yù)測用于預(yù)測在產(chǎn)生所述類型的待處理數(shù)據(jù)之后發(fā)生的事件。

進(jìn)一步地，所述裝置還包括：規(guī)范化處理單元，用于在根據(jù)所述數(shù)據(jù)模型對所述待處理數(shù)據(jù)進(jìn)行類別區(qū)分分類之前，對所述待處理數(shù)據(jù)進(jìn)行規(guī)范化處理，其中，所述規(guī)范化處理包括以下至少之一：數(shù)據(jù)格式的轉(zhuǎn)換、非標(biāo)準(zhǔn)數(shù)據(jù)值映射為標(biāo)準(zhǔn)值。