[發明專利]一種數據庫處理方法及系統

有效

• 申請號: 201811257981.2
• 申請日: 2018-10-26
• 公開（公告）號: CN109522315B
• 公開（公告）日: 2021-10-22
• 發明（設計）人: 吳金迎;葉國華;司孝波;錢津津;杭軍
• 申請（專利權）人: 蘇寧易購集團股份有限公司
• 主分類號: G06F16/23
• 分類號: G06F16/23
• 代理公司: 北京市萬慧達律師事務所 11111
• 代理人: 顧友

1.一種數據庫處理方法，其特征在于，包括以下步驟：

S1、清洗加工下發的新業務數據，并將所述新業務數據進行分號段處理；

判斷是否初始化數據庫，若無需初始化數據庫，則判斷是否校準數據庫，若無需校準數據庫，則執行所述步驟S2；

S2、選擇一個或多個號段下的新業務數據，對比緩存數據庫中的業務數據與所選的新業務數據，根據主要變動字段下的數據是否一致來判斷所選的新業務數據中是否存在與所述緩存數據庫中的業務數據不一致的數據；

S3、若存在與所述不一致的數據，則標記所述不一致的數據，并將其存入緩存數據庫中，從所述緩存數據庫中選擇一個或多個號段下的數據分批存入數據庫中。

2.如權利要求1所述的一種數據庫處理方法，其特征在于，在所述步驟S1后還包括：

若需要初始化數據庫，則將所述新業務數據的號段與需要初始化業務數據的號段進行匹配，

若匹配成功，則將所述新業務數據緩存至所述緩存數據庫中，每個批次抽取所述緩存數據庫中的一個或多個號段下的新業務數據，分批將所選的新業務數據存入數據庫，

若匹配不成功，則丟棄所選的新業務數據；

若否，則執行所述步驟S2。

3.如權利要求2所述的一種數據庫處理方法，其特征在于，所述判斷是否初始化數據庫為判斷緩存數據庫中是否存在與新業務數據的號段一致的號段。

4.如權利要求2或3所述的一種數據庫處理方法，其特征在于，在判斷是否初始化數據庫的結果為否后還包括：

若需要校準數據庫，則將所述新業務數據緩存至所述緩存數據庫中，每個批次抽取所述緩存數據庫中的一個或多個號段下的新業務數據，分批將所選的新業務數據存入數據庫；

若否，則執行所述步驟S2。

5.如權利要求4所述的一種數據庫處理方法，其特征在于，所述判斷是否校準數據庫為判斷當前時間是否到達預設校準數據庫的時間。

6.如權利要求1所述的一種數據庫處理方法，其特征在于，所述清洗加工業務數據包括：設計所述新業務數據的主鍵；利用哈希、加鹽以及反轉中的任意一種或多種方式均勻分布所述新業務數據；刪除重復的新業務數據、補充或刪除缺失的新業務數據、刪除無效的新業務數據。

7.如權利要求6所述的一種數據庫處理方法，其特征在于，所述將新業務數據進行分號段處理為按照所述主鍵對所述下發的業務數據進行編號。

8.基于權利要求1～7任意一項所述的一種數據庫處理方法的一種數據庫處理系統，其特征在于，包括：

業務系統，用于提供新業務數據；

數據消息系統Kafka，用于下發所述新業務數據；

分布式實時計算工具STORM，用于執行所述步驟S1和S2以及S3中的標記所述不一致的數據，包括：初始化判斷模塊和校準數據庫判斷模塊，所述初始化判斷模塊用于判斷是否初始化數據庫，所述校準數據庫判斷模塊，用于判斷是否校準數據庫；

緩存數據庫HBASE，用于緩存新業務數據以及所述不一致的數據；

數據庫DB2，用于存儲新業務數據以及所述不一致的數據。

9.如權利要求8所述的一種數據庫處理系統，其特征在于，所述初始化判斷模塊，還用于將所述新業務數據的號段與需要初始化業務數據的號段進行匹配。