[發(fā)明專利]一種數(shù)據(jù)處理方法、裝置、設(shè)備及計算機可讀存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 201910085532.2
• 申請日: 2019-01-29
• 公開（公告）號: CN111488364A
• 公開（公告）日: 2020-08-04
• 發(fā)明（設(shè)計）人: 苗圣法;劉勛;陳春璐;陳曉安;胡澤柱
• 申請（專利權(quán)）人: 順豐科技有限公司
• 主分類號: G06F16/23
• 分類號: G06F16/23;G06F16/21
• 代理公司: 北京志霖恒遠(yuǎn)知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11435
• 代理人: 成丹

本申請公開了一種數(shù)據(jù)處理方法、裝置、設(shè)備和計算機可讀存儲介質(zhì)，所述方法包括以下步驟：按設(shè)定的不同的分割尺度數(shù)據(jù)對源數(shù)據(jù)進(jìn)行統(tǒng)計形成多尺度元數(shù)據(jù)并存入多尺度元數(shù)據(jù)庫；根據(jù)輸入的源數(shù)據(jù)更新多尺度元數(shù)據(jù)庫。本申請的技術(shù)方案提出多尺度的元數(shù)據(jù)概念，能夠比較精確地對數(shù)據(jù)特征進(jìn)行畫像描述，并提供了嚴(yán)謹(jǐn)?shù)臄?shù)據(jù)畫像更新機制。多尺度元數(shù)據(jù)概括了數(shù)據(jù)的大部分特性，增加了對數(shù)據(jù)全局了解，大大縮短了其他用戶的數(shù)據(jù)探索時間，有助于知識的有效共享和傳遞。

技術(shù)領(lǐng)域

本公開一般涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，具體涉及一種數(shù)據(jù)處理方法、裝置、設(shè)備及計算機可讀存儲介質(zhì)。

背景技術(shù)

當(dāng)前數(shù)據(jù)挖掘缺乏對數(shù)據(jù)源全局了解，分析時需花大量時間去了解數(shù)據(jù)特性，一般了解數(shù)據(jù)所花時間已占到整個數(shù)據(jù)挖掘時間的60％以上，急切需要優(yōu)化，并且從數(shù)據(jù)中學(xué)習(xí)的知識不能有效傳遞下去。

不同人對同一份數(shù)據(jù)分析程度不同，導(dǎo)致理解不同，分析出的結(jié)果各不相同，不能真實反映數(shù)據(jù)價值，急需規(guī)范化；

當(dāng)前存在一份數(shù)據(jù)經(jīng)過不同人多次處理，增加質(zhì)量風(fēng)險，需花費大量時間來保證數(shù)據(jù)質(zhì)量；

當(dāng)已接入的周期性數(shù)據(jù)出現(xiàn)數(shù)據(jù)丟失、數(shù)據(jù)更改等不易發(fā)現(xiàn)的問題時，會對結(jié)果造成很大影響。

發(fā)明內(nèi)容

鑒于現(xiàn)有技術(shù)中的上述缺陷或不足，期望提供一種數(shù)據(jù)處理方法、裝置、設(shè)備及計算機可讀存儲介質(zhì)。

第一方面本申請?zhí)峁┮环N數(shù)據(jù)處理方法，包括以下步驟：

按設(shè)定的不同的分割尺度數(shù)據(jù)對源數(shù)據(jù)進(jìn)行統(tǒng)計形成多尺度元數(shù)據(jù)并存入多尺度元數(shù)據(jù)庫；

根據(jù)輸入的源數(shù)據(jù)更新多尺度元數(shù)據(jù)庫。

根據(jù)本申請實施例提供的技術(shù)方案，所述根據(jù)輸入的源數(shù)據(jù)更新多尺度元數(shù)據(jù)庫包括以下步驟：

根據(jù)上一輸入周期內(nèi)的源數(shù)據(jù)的多尺度元數(shù)據(jù)和當(dāng)前輸入周期內(nèi)源數(shù)據(jù)的數(shù)據(jù)屬性信息統(tǒng)計當(dāng)前輸入周期內(nèi)源數(shù)據(jù)的多尺度元數(shù)據(jù)；

根據(jù)當(dāng)前輸入周期內(nèi)的源數(shù)據(jù)的多尺度元數(shù)據(jù)更新多尺度元數(shù)據(jù)庫；

所述數(shù)據(jù)屬性信息包括數(shù)據(jù)來源信息、數(shù)據(jù)的接入周期信息、表名稱信息、字段名稱信息、字段含義信息、字段類型信息、字段結(jié)果及代表的含義信息。

根據(jù)本申請實施例提供的技術(shù)方案，所述根據(jù)輸入的源數(shù)據(jù)更新多尺度元數(shù)據(jù)庫包括以下步驟：

驗證當(dāng)前輸入周期內(nèi)的源數(shù)據(jù)與上一輸入周期內(nèi)的源數(shù)據(jù)的一致性，輸出驗證結(jié)果，所述驗證結(jié)果包括驗證一致結(jié)果和驗證不一致結(jié)果；

響應(yīng)于驗證不一致結(jié)果，啟動異常調(diào)查；

響應(yīng)于異常調(diào)查結(jié)果統(tǒng)計當(dāng)前輸入周期內(nèi)的源數(shù)據(jù)的多尺度元數(shù)據(jù)；

根據(jù)當(dāng)前輸入周期內(nèi)的源數(shù)據(jù)的多尺度元數(shù)據(jù)更新多尺度元數(shù)據(jù)庫。

根據(jù)本申請實施例提供的技術(shù)方案，所述響應(yīng)于異常調(diào)查結(jié)果統(tǒng)計當(dāng)前輸入周期內(nèi)的源數(shù)據(jù)的多尺度元數(shù)據(jù)具體包括以下步驟：

根據(jù)上一周期內(nèi)源數(shù)據(jù)的多尺度元數(shù)據(jù)和當(dāng)前輸入源數(shù)據(jù)的數(shù)據(jù)屬性信息：

判斷異常調(diào)查結(jié)果為數(shù)據(jù)缺失時，復(fù)原缺失數(shù)據(jù)，更新當(dāng)前輸入源數(shù)據(jù)的數(shù)據(jù)屬性信息后，以更新的數(shù)據(jù)屬性信息統(tǒng)計當(dāng)前輸入周期內(nèi)源數(shù)據(jù)的多尺度元數(shù)據(jù)；

判斷異常調(diào)查結(jié)果為數(shù)據(jù)異常時，刪除或用默認(rèn)值替代異常數(shù)據(jù)后，更新當(dāng)前輸入源數(shù)據(jù)的數(shù)據(jù)屬性信息，以更新的數(shù)據(jù)屬性信息統(tǒng)計當(dāng)前輸入周期內(nèi)源數(shù)據(jù)的多尺度元數(shù)據(jù)；

判斷異常調(diào)查結(jié)果為數(shù)據(jù)特殊時，更新分割尺度數(shù)據(jù)，以更新的分割尺度數(shù)據(jù)和當(dāng)前輸入源數(shù)據(jù)的數(shù)據(jù)屬性信息統(tǒng)計當(dāng)前輸入周期內(nèi)源數(shù)據(jù)的多尺度元數(shù)據(jù)。