[發明專利]一種數據同步方法、裝置、電子設備及介質

在審

• 申請號: 202010622997.X
• 申請日: 2020-06-30
• 公開（公告）號: CN111782728A
• 公開（公告）日: 2020-10-16
• 發明（設計）人: 王穎
• 申請（專利權）人: 北京金山云網絡技術有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/28
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 高鶯然;馬敬

1.一種數據同步方法，其特征在于，包括：

讀取源數據庫的源端數據表中的數據，得到待同步數據集；

針對所述待同步數據集中的每條數據，檢測該數據的指定字段是否符合所述指定字段對應的檢核規則，其中，所述檢核規則是預先設置的；

若不符合所述指定字段對應的檢核規則，則確定該數據為異常數據；

確定所述待同步數據集中的異常數據數量；

根據所述異常數據數量，對所述待同步數據集進行同步處理操作。

2.根據權利要求1所述的方法，其特征在于，所述根據所述異常數據數量，對所述待同步數據集進行同步處理操作，包括：

若所述異常數據數量小于或者等于告警閾值，則將所述待同步數據集同步至目標數據庫中。

3.根據權利要求1或2所述的方法，其特征在于，所述根據所述異常數據數量，對所述待同步數據集進行同步處理操作，包括：

若所述異常數據小于或者等于告警閾值，則對所述異常數據進行處理，以更新待同步數據集，得到更新后的待同步數據集；

將更新后的待同步數據集同步至目標數據庫中。

4.根據權利要求1所述的方法，其特征在于，所述檢核規則通過以下步驟設置得到：

展示用于編輯檢核規則的設置頁面；

接收用戶在所述設置頁面的編輯信息，所述編輯信息用于生成所述檢核規則；

通過預設交互接口，獲取生成的所述檢核規則，以執行所述針對所述待同步數據集中的每條數據，檢測該數據的指定字段是否符合所述指定字段對應的檢核規則的步驟。

5.根據權利要求3所述的方法，其特征在于，所述對所述異常數據進行處理，包括：

若所述異常數據的第一指定字段存在亂碼字符，則將所述亂碼字符替換為第一預設字符，所述第一指定字段為字符串類型的字段；和/或，

若所述異常數據的第二指定字段存在轉義字符，則將所述轉義字符替換為第二預設字符，所述第二指定字段為字符串類型的字段；和/或，

若所述異常數據的第三指定字段的長度大于預設長度閾值，則過濾所述異常數據，所述第三指定字段為字符串類型、整型或浮點數類型的字段；和/或，

若所述異常數據的第四指定字段包括除指定形式的內容以外的內容，則過濾所述異常數據，所述第四指定字段為字符串類型的字段；和/或，

若所述異常數據的第五指定字段不符合預定義格式，則過濾所述異常數據，所述第五指定字段為具有所述預定義格式的字段。

6.根據權利要求3所述的方法，其特征在于，在對所述異常數據進行處理之后，所述方法還包括：

記錄所述異常數據的異常明細信息，所述異常明細信息包括所述異常數據的異常字段內容和各異常字段內容的異常原因。

7.根據權利要求6所述的方法，其特征在于，在得到更新后的待同步數據集之后，所述方法還包括：

接收檢核結果查詢請求；

響應于所述檢核結果查詢請求，反饋所述待同步數據集中的異常數據以及各異常數據的異常明細信息。

8.根據權利要求1所述的方法，其特征在于，在確定所述待同步數據集中的異常數據量之后，所述方法還包括：

若所述異常數據數量大于所述告警閾值，則終止數據同步過程，基于指定告警方式向指定告警對象發送告警消息。

9.一種數據同步裝置，其特征在于，包括：

獲取模塊，用于讀取源數據庫的源端數據表中的數據，得到待同步數據集；

檢核模塊，用于針對所述待同步數據集中的每條數據，檢測該數據的指定字段是否符合所述指定字段對應的檢核規則，其中，所述檢核規則是預先設置的；若不符合所述指定字段對應的檢核規則，則確定該數據為異常數據；

確定模塊，用于確定所述待同步數據集中的異常數據數量；

同步模塊，用于根據所述異常數據數量，對所述待同步數據集進行同步處理操作。