[發明專利]對數據拆分結果進行校驗的方法和裝置

在審

• 申請號: 201711262228.8
• 申請日: 2017-12-04
• 公開（公告）號: CN110019214A
• 公開（公告）日: 2019-07-16
• 發明（設計）人: 徐開廷
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 張一軍;楊曉偉

本發明公開了一種對數據拆分結果進行校驗的方法和裝置，涉及計算機技術領域。該方法的一具體實施方式包括：獲取數據拆分信息中的待拆分數據標識；根據所述待拆分數據標識獲取所述待拆分數據及所述待拆分數據對應的所有拆分后數據；根據所述待拆分數據及所述待拆分數據對應的所有拆分后數據對數據拆分結果進行校驗，所述數據拆分結果包括所述待拆分數據及所述待拆分數據對應的所有拆分后數據的數據拆分信息。該實施方式能夠在不對業務系統進行改造的前提下，實時監控數據拆分的業務數據，并對數據拆分的結果進行校驗，從而達到數據拆分結果異常時實時報警的目的。

技術領域

本發明涉及計算機技術領域，尤其涉及一種對數據拆分結果進行校驗的方法和裝置。

背景技術

在對數據進行分析或處理的過程中，有時會需要將業務數據庫中的一條數據拆分為多條數據，且該拆分后得到的多條數據應與被拆分的數據滿足預定的關系。例如：在電子商務領域，當消費者用戶一次下單中的商品由不同的商家提供或者位于不同的庫房時，為了保障訂單能盡快處理并配送到用戶的手中，一般會按一定的維度對消費者的訂單進行拆分。

下面以電子商務領域進行訂單拆分為例介紹現有的數據拆分的過程。訂單拆分的步驟一般為先把消費者用戶的原始訂單(又叫父訂單)取消，再把新生成的多個子訂單重新提交到系統中。為了保證用戶實際購買的商品個數在訂單拆分的過程中不會變多或者變少，電子商務網站往往會設置一個監控系統，以校驗生成的子訂單中的商品個數和原始的父訂單中的商品個數是否一致。當出現不一致的情況時會提供多維度的報警信息。

目前，針對此類將原有數據修改為無效狀態，再新增多條有效的數據的監控，一般采用的方案有：實時掃描查詢數據庫的數據記錄、實時監控業務系統在數據拆分過程中發送的業務數據兩種。

其中，實時掃描查詢數據庫的數據記錄的方案的實現過程是：現有數據一般采用分庫分表的方式來存儲，為了能做到實時監控數據拆分的結果是否正確，監控系統需要按一定的時間間隔掃描業務系統的多個數據庫或數據表，并根據多個數據庫或數據表中的數據進行邏輯判定數據拆分產生的業務數據是否正常；

實時監控業務系統在拆分過程中發送的業務數據的方案的實現過程是：在數據拆分業務實際發生的時候，可以通過發送一些類似于業務日志信息、業務消息隊列等數據，以使監控系統可以通過監控日志信息或者消息隊列的數據來做邏輯判定數據拆分產生的業務數據是否正常。

在實現本發明過程中，發明人發現現有技術中至少存在如下問題：

對于實時掃描數據庫的記錄的方案來說，由于需要定時去掃描數據庫，在數據量比較大時會存在性能瓶頸；掃描的時間間隔很難去判定，太長了監控的效果較差，太短了會對實際的業務造成一定的影響，加大了數據的負載，會拖慢數據庫的性能；

對于實時監控業務系統在拆分過程中發送的業務數據的方案來說，為了能做到監控的實時性，業務系統需要提前進行業務改造以保障業務日志信息、業務消息隊列能正常發送，改造量一般會比較大；另外，發送的業務日志信息、業務消息隊列和實際業務存在不完全相關性，會存在業務日志信息、業務消息隊列已經發送，但是實際業務執行失敗的情況，導致監控的效果不佳。

發明內容

有鑒于此，本發明實施例提供一種對數據拆分結果進行校驗的方法和裝置，能夠在不對業務系統進行改造的前提下，實時監控數據拆分的業務數據，并對數據拆分的結果進行校驗，從而達到數據拆分結果異常時實時報警的目的。

為實現上述目的，根據本發明實施例的一個方面，提供了一種對數據拆分結果進行校驗的方法。

一種對數據拆分結果進行校驗的方法，包括：獲取數據拆分信息中的待拆分數據標識；根據所述待拆分數據標識獲取所述待拆分數據及所述待拆分數據對應的所有拆分后數據；根據所述待拆分數據及所述待拆分數據對應的所有拆分后數據對數據拆分結果進行校驗，所述數據拆分結果包括所述待拆分數據及所述待拆分數據對應的所有拆分后數據的數據拆分信息。