[發(fā)明專利]一種數(shù)據(jù)處理方法及服務(wù)器

有效

• 申請?zhí)枺?/td>: 201710199325.0
• 申請日: 2017-03-29
• 公開（公告）號: CN107168995B
• 公開（公告）日: 2020-05-26
• 發(fā)明（設(shè)計）人: 尹正軍
• 申請（專利權(quán)）人: 聯(lián)想（北京）有限公司
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06F16/215
• 代理公司: 北京派特恩知識產(chǎn)權(quán)代理有限公司 11270
• 代理人: 張穎玲;李梅香

1.一種數(shù)據(jù)處理方法，其特征在于，所述方法包括：

確定源數(shù)據(jù)的不同維度的特征的相似度；

將相應(yīng)維度的相似度滿足條件的所述源數(shù)據(jù)聚類到相應(yīng)維度的類別；

對于每個所述類別的源數(shù)據(jù)，確定對相應(yīng)類別的源數(shù)據(jù)進(jìn)行處理所包括的不同處理階段的執(zhí)行順序、以及所述處理階段所遵循的質(zhì)量規(guī)則；

基于各所述處理階段所遵循的質(zhì)量規(guī)則，對相應(yīng)類別的源數(shù)據(jù)按照確定的不同處理階段的執(zhí)行順序進(jìn)行處理；

建立用于表征歷史源數(shù)據(jù)經(jīng)過處理形成目標(biāo)數(shù)據(jù)過程中的各節(jié)點(diǎn)數(shù)據(jù)與質(zhì)量規(guī)則之間關(guān)聯(lián)關(guān)系；

基于所述關(guān)聯(lián)關(guān)系確定第一質(zhì)量規(guī)則庫集合與異常數(shù)據(jù)輸出對象集合之間的第一關(guān)聯(lián)關(guān)系；

在決策樹模型中查找與所述第一關(guān)聯(lián)關(guān)系匹配的質(zhì)量規(guī)則，得到第一匹配結(jié)果；

基于所述第一匹配結(jié)果修改所述決策樹模型。

2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理方法，其特征在于，所述確定對相應(yīng)類別的源數(shù)據(jù)進(jìn)行處理所包括的不同處理階段的執(zhí)行順序、以及所述處理階段所遵循的質(zhì)量規(guī)則，包括：

確定相應(yīng)類別的源數(shù)據(jù)的輸入特征；

基于所述輸入特征在決策樹模型中查找處理所述相應(yīng)類別的源數(shù)據(jù)包括的不同處理階段的執(zhí)行順序、以及所述處理階段所遵循的質(zhì)量規(guī)則；

所述決策樹模型為基于歷史源數(shù)據(jù)訓(xùn)練得到，用于表征不同輸入特征的歷史源數(shù)據(jù)與所應(yīng)用的質(zhì)量規(guī)則的對應(yīng)關(guān)系。

3.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理方法，其特征在于，所述方法還包括：

根據(jù)歷史的不同類別的所述源數(shù)據(jù)在各所述處理階段進(jìn)行處理后得到數(shù)據(jù)的質(zhì)量，確定不同類別的所述源數(shù)據(jù)在各所述處理階段進(jìn)行處理后得到的數(shù)據(jù)的質(zhì)量的變化規(guī)律；

根據(jù)所述變化規(guī)律，預(yù)測所述源數(shù)據(jù)在各所述處理階段處理得到的數(shù)據(jù)的質(zhì)量的分布。

4.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理方法，其特征在于，所述建立用于表征歷史源數(shù)據(jù)經(jīng)過處理形成目標(biāo)數(shù)據(jù)過程中的各節(jié)點(diǎn)數(shù)據(jù)與質(zhì)量規(guī)則之間關(guān)聯(lián)關(guān)系之后，還包括：

基于所述關(guān)聯(lián)關(guān)系確定數(shù)據(jù)質(zhì)量程度與異常數(shù)據(jù)輸出對象集合之間的第二關(guān)聯(lián)關(guān)系；

在決策樹模型中查找與所述第二關(guān)聯(lián)關(guān)系匹配的數(shù)據(jù)質(zhì)量程度，得到第二匹配結(jié)果；

基于所述第二匹配結(jié)果修改所述決策樹模型。

5.根據(jù)權(quán)利要求1或4所述的數(shù)據(jù)處理方法，其特征在于，所述方法還包括：

基于修改后的決策樹模型確定聚類后的源數(shù)據(jù)進(jìn)行處理所包括的不同處理階段的執(zhí)行順序、以及所述處理階段所遵循的質(zhì)量規(guī)則；

基于各所述處理階段所遵循的質(zhì)量規(guī)則，對聚類后的源數(shù)據(jù)按照確定的不同處理階段的執(zhí)行順序進(jìn)行處理；

監(jiān)控所述源數(shù)據(jù)在各所述處理階段處理得到的數(shù)據(jù)的質(zhì)量，形成數(shù)據(jù)質(zhì)量監(jiān)控的閉環(huán)。

6.一種服務(wù)器，其特征在于，所述服務(wù)器包括至少一個處理器，以及至少一個存儲器；其中：

所述至少一個處理器，用于確定源數(shù)據(jù)的不同維度的特征的相似度；

將相應(yīng)維度的相似度滿足條件的所述源數(shù)據(jù)聚類到相應(yīng)維度的類別；

對于每個所述類別的源數(shù)據(jù)，確定對相應(yīng)類別的源數(shù)據(jù)進(jìn)行處理所包括的不同處理階段的執(zhí)行順序、以及所述處理階段所遵循的質(zhì)量規(guī)則；

基于所述各所述處理階段所遵循的質(zhì)量規(guī)則，對相應(yīng)類別的源數(shù)據(jù)按照確定的不同處理階段的執(zhí)行順序進(jìn)行處理；

所述至少一個存儲器，用于存儲處理所述源數(shù)據(jù)所遵循的質(zhì)量規(guī)則；

所述處理器，還用于建立用于表征歷史源數(shù)據(jù)經(jīng)過處理形成目標(biāo)數(shù)據(jù)過程中的各節(jié)點(diǎn)數(shù)據(jù)與質(zhì)量規(guī)則之間關(guān)聯(lián)關(guān)系；

基于所述關(guān)聯(lián)關(guān)系確定第一質(zhì)量規(guī)則庫集合與異常數(shù)據(jù)輸出對象集合之間的第一關(guān)聯(lián)關(guān)系；

在決策樹模型中查找與所述第一關(guān)聯(lián)關(guān)系匹配的質(zhì)量規(guī)則，得到第一匹配結(jié)果；

基于所述第一匹配結(jié)果修改所述決策樹模型。