[發(fā)明專利]一種異常數(shù)據(jù)處理的方法、裝置、電子設(shè)備、計(jì)算機(jī)可讀介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010564616.7
• 申請(qǐng)日: 2020-06-19
• 公開（公告）號(hào): CN111813765A
• 公開（公告）日: 2020-10-23
• 發(fā)明（設(shè)計(jì)）人: 劉浩;柳超
• 申請(qǐng)（專利權(quán)）人: 北京金堤科技有限公司
• 主分類號(hào): G06F16/215
• 分類號(hào): G06F16/215;G06F16/24
• 代理公司: 北京康盛知識(shí)產(chǎn)權(quán)代理有限公司 11331
• 代理人: 董娣

本發(fā)明公開了一種異常數(shù)據(jù)處理的方法、裝置、電子設(shè)備、計(jì)算機(jī)可讀介質(zhì)，涉及計(jì)算機(jī)技術(shù)領(lǐng)域。該方法包括：查找對(duì)象的歷史變更記錄；其中，所述歷史變更記錄中每條記錄數(shù)據(jù)至少包括目標(biāo)字段的歷史信息；將所述目標(biāo)字段的當(dāng)前信息，與所述目標(biāo)字段的歷史信息進(jìn)行比對(duì)，從所述歷史變更記錄中的記錄數(shù)據(jù)中確定出抖動(dòng)數(shù)據(jù)；根據(jù)預(yù)設(shè)的處理策略，對(duì)所述歷史變更記錄中的抖動(dòng)數(shù)據(jù)進(jìn)行處理。本公開能夠有效地處理抖動(dòng)數(shù)據(jù)，提升產(chǎn)品的數(shù)據(jù)質(zhì)量。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，尤其涉及一種異常數(shù)據(jù)處理的方法、裝置、電子設(shè)備、計(jì)算機(jī)可讀介質(zhì)。

背景技術(shù)

隨著大數(shù)據(jù)技術(shù)的迅猛發(fā)展，可以通過對(duì)收集的大數(shù)據(jù)進(jìn)行清洗分析、整理，進(jìn)而提供數(shù)據(jù)綜合查詢或分類查詢服務(wù)。例如，某一產(chǎn)品涵蓋網(wǎng)頁(yè)端、APP端，可提供強(qiáng)大的查公司、查老板、查關(guān)系功能，用戶不僅可以根據(jù)公司名稱查詢到其董高監(jiān)信息，而且可以通過查老板功能查詢到老板名下所有注冊(cè)信息，除此之外，還可以根據(jù)企業(yè)所屬行業(yè)進(jìn)行分類查詢，等等。對(duì)于數(shù)據(jù)查詢工作，其后臺(tái)數(shù)據(jù)量巨大，數(shù)據(jù)變動(dòng)的情況也時(shí)常發(fā)生，因此導(dǎo)致出現(xiàn)重復(fù)的抖動(dòng)數(shù)據(jù)，非常影響數(shù)據(jù)的質(zhì)量以及用戶的體驗(yàn)。如何處理錯(cuò)誤的抖動(dòng)數(shù)據(jù)，提升數(shù)據(jù)的質(zhì)量，一直是一個(gè)至關(guān)重要的問題。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明實(shí)施例提供一種異常數(shù)據(jù)處理的方法、裝置、電子設(shè)備、計(jì)算機(jī)可讀介質(zhì)，能夠有效地檢測(cè)并處理抖動(dòng)數(shù)據(jù)，提升產(chǎn)品的數(shù)據(jù)質(zhì)量。

為實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明實(shí)施例的一個(gè)方面，提供了一種異常數(shù)據(jù)處理的方法。

本發(fā)明實(shí)施例的異常數(shù)據(jù)處理的方法包括：查找對(duì)象的歷史變更記錄；其中，所述歷史變更記錄中每條記錄數(shù)據(jù)至少包括目標(biāo)字段的歷史信息；將所述目標(biāo)字段的當(dāng)前信息，與所述目標(biāo)字段的歷史信息進(jìn)行比對(duì)，從所述歷史變更記錄中的記錄數(shù)據(jù)中確定出抖動(dòng)數(shù)據(jù)；根據(jù)預(yù)設(shè)的處理策略，對(duì)所述歷史變更記錄中的抖動(dòng)數(shù)據(jù)進(jìn)行處理。

可選地，所述歷史變更記錄中每條記錄數(shù)據(jù)還包括時(shí)間字段的信息；

查找對(duì)象的歷史變更記錄的步驟包括：根據(jù)預(yù)設(shè)的時(shí)段篩選條件以及對(duì)象的標(biāo)識(shí)信息，查找所述對(duì)象的歷史變更記錄，其中所述歷史變更記錄中每條記錄數(shù)據(jù)還包括時(shí)間字段的信息符合所述預(yù)設(shè)的時(shí)段篩選條件。

可選地，將所述目標(biāo)字段的當(dāng)前信息，與所述目標(biāo)字段的歷史信息進(jìn)行比對(duì)，從所述歷史變更記錄中的記錄數(shù)據(jù)中確定出抖動(dòng)數(shù)據(jù)的步驟包括：將所述目標(biāo)字段的當(dāng)前信息，與所述目標(biāo)字段的歷史信息進(jìn)行比對(duì)，確定所述目標(biāo)字段的歷史信息與當(dāng)前信息的相似度；根據(jù)所述相似度，從所述歷史變更記錄中的記錄數(shù)據(jù)中確定出抖動(dòng)數(shù)據(jù)。

可選地，根據(jù)所述相似度，從所述歷史變更記錄中的記錄數(shù)據(jù)中確定出抖動(dòng)數(shù)據(jù)的步驟包括：根據(jù)所述相似度，調(diào)取分類模型；根據(jù)所述分類模型對(duì)所述歷史變更記錄中的記錄數(shù)據(jù)進(jìn)行分類處理，以從所述歷史變更記錄中的記錄數(shù)據(jù)確定出抖動(dòng)數(shù)據(jù)。

可選地，在根據(jù)所述相似度，調(diào)取分類模型之前，還包括：獲取訓(xùn)練數(shù)據(jù)集，所述訓(xùn)練數(shù)據(jù)集中包括已分類的抖動(dòng)數(shù)據(jù)和非抖動(dòng)數(shù)據(jù)；根據(jù)所述訓(xùn)練數(shù)據(jù)集以及預(yù)選的特征集、訓(xùn)練閾值，通過決策樹學(xué)習(xí)得到初始分類模塊；對(duì)所述初始分類模型進(jìn)行修剪，得到分類模型。

可選地，所述歷史變更記錄中每條記錄數(shù)據(jù)還包括統(tǒng)計(jì)字段的信息，所述預(yù)設(shè)的處理策略包括刪除處理；

根據(jù)預(yù)設(shè)的處理策略，對(duì)所述歷史變更記錄中的抖動(dòng)數(shù)據(jù)進(jìn)行處理的步驟包括：將所述歷史變更記錄中的抖動(dòng)數(shù)據(jù)進(jìn)行刪除，并生成刪除記錄信息。

所述預(yù)設(shè)的處理策略還包括統(tǒng)計(jì)處理；

根據(jù)預(yù)設(shè)的處理策略，對(duì)所述歷史變更記錄中的抖動(dòng)數(shù)據(jù)進(jìn)行處理的步驟還包括：根據(jù)所述抖動(dòng)數(shù)據(jù)的統(tǒng)計(jì)字段的信息，對(duì)所述抖動(dòng)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)處理，得到統(tǒng)計(jì)處理結(jié)果；存儲(chǔ)所述刪除記錄信息和/或統(tǒng)計(jì)處理結(jié)果。