[發明專利]同步數據處理方法、裝置、設備及存儲介質

在審

• 申請號: 202210147037.1
• 申請日: 2022-02-17
• 公開（公告）號: CN114490881A
• 公開（公告）日: 2022-05-13
• 發明（設計）人: 黃佳鵬
• 申請（專利權）人: 平安國際智慧城市科技股份有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/23;G06F16/2455;G06F16/25;G06F21/64
• 代理公司: 深圳中一聯合知識產權代理有限公司 44414
• 代理人: 姚澤鑫

本申請涉及人工智能領域，提供同步數據處理方法，接收數據同步指令；根據所述數據同步指令，通過數據同步組件獲取待同步數據，其中，所述待同步數據來自數據源或者異常集群節點，所述數據同步組件包括數據庫同步組件、中間件同步組件、接口同步組件和復合同步組件中的至少一種；將所述待同步數據以填充緩存行的方式加載到無鎖循環緩沖區；通過預設的數據處理線程對所述無鎖循環緩沖區中的所述待同步數據進行處理，完成同步數據處理。通過預設的若干個數據處理線程，對無鎖循環緩沖區中的待同步數據進行處理，填充緩存行和無鎖循環緩沖區可以減小資源開銷，提高并發處理效率，從而大大提高了同步數據處理效率。

技術領域

本申請屬于人工智能技術領域，尤其涉及一種同步數據處理方法、裝置、設備及存儲介質。

背景技術

由于數據源渠道復雜，數據同步工具有時難以直接從數據源同步數據，影響同步速度。現有的數據同步工具在使用中均存在一些缺點，例如，數據同步工具僅能實現數據同步，功能單一，在使用已同步的數據時需要花費額外的時間進行數據處理；現有的數據同步工具同步速度有限，在數據量較大時數據同步效率較低。

發明內容

鑒于以上內容，本發明提供一種同步數據處理方法、裝置、設備及存儲介質，其目的在于解決現有技術中數據同步效率較低的技術問題。

為實現上述目的，本發明提供一種同步數據處理方法，該方法包括：

接收數據同步指令；

根據所述數據同步指令，通過數據同步組件獲取待同步數據，其中，所述待同步數據來自數據源或者異常集群節點，所述數據同步組件包括數據庫同步組件、中間件同步組件、接口同步組件和復合同步組件中的至少一種；

將所述待同步數據以填充緩存行的方式加載到無鎖循環緩沖區；

通過預設的數據處理線程對所述無鎖循環緩沖區中的所述待同步數據進行處理，完成同步數據處理。

優選的，所述接收數據同步指令之前，包括：

根據數據源發送的數據同步請求，觸發數據同步指令；

獲取集群中各節點的工作狀態信息；

根據所述工作狀態信息確定異常集群節點，其中，所述異常集群節點包括過載節點和故障節點；

根據所述異常集群節點生成數據同步指令。

優選的，所述數據同步組件包括：數據庫同步組件、中間件同步組件、接口同步組件和復合同步組件中的至少一種。

優選的，所述將所述待同步數據以填充緩存行的方式加載到無鎖循環緩沖區，包括：

查詢無鎖循環緩沖區中可用數據對象；將所述待同步數據以填充緩存行的方式加載到所述可用數據對象中。

優選的，所述通過預設的數據處理線程對所述無鎖循環緩沖區中的所述待同步數據進行處理，完成同步數據處理，包括：

通過數據驗證線程驗證所述無鎖循環緩沖區中，所述待同步數據的數字簽名；

當對所述數字簽名驗證通過時，通過去重線程確定所述待同步數據中的重復數據，并對所述重復數據進行去重處理。

優選的，所述通過預設的數據處理線程對所述無鎖循環緩沖區中的所述待同步數據進行處理，完成同步數據處理，還包括：

獲取去重處理后所述待同步數據的數據源標識；

通過與所述數據源標識所對應的數據標準化線程，對所述待同步數據進行標準化處理，得到標準數據；

將所述標準數據發送至預設的數據應用線程，或者，將所述標準數據進行存儲，完成同步數據處理。