[發明專利]同步數據處理方法、裝置、設備及存儲介質

在審

• 申請號: 202210147037.1
• 申請日: 2022-02-17
• 公開（公告）號: CN114490881A
• 公開（公告）日: 2022-05-13
• 發明（設計）人: 黃佳鵬
• 申請（專利權）人: 平安國際智慧城市科技股份有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/23;G06F16/2455;G06F16/25;G06F21/64
• 代理公司: 深圳中一聯合知識產權代理有限公司 44414
• 代理人: 姚澤鑫

1.一種同步數據處理方法，其特征在于，所述方法包括：

接收數據同步指令；

根據所述數據同步指令，通過數據同步組件獲取待同步數據，其中，所述待同步數據來自數據源或者異常集群節點，所述數據同步組件包括數據庫同步組件、中間件同步組件、接口同步組件和復合同步組件中的至少一種；

將所述待同步數據以填充緩存行的方式加載到無鎖循環緩沖區；

通過預設的數據處理線程對所述無鎖循環緩沖區中的所述待同步數據進行處理，完成同步數據處理。

2.如權利要求1所述的同步數據處理方法，其特征在于，所述接收數據同步指令之前，包括：

根據數據源發送的數據同步請求，觸發數據同步指令；

獲取集群中各節點的工作狀態信息；

根據所述工作狀態信息確定異常集群節點，其中，所述異常集群節點包括過載節點和故障節點；

根據所述異常集群節點生成數據同步指令。

3.如權利要求1所述的同步數據處理方法，其特征在于，所述所述數據同步組件包括：數據庫同步組件、中間件同步組件、接口同步組件和復合同步組件中的至少一種。

4.如權利要求1所述的同步數據處理方法，其特征在于，所述將所述待同步數據以填充緩存行的方式加載到無鎖循環緩沖區，包括：

查詢無鎖循環緩沖區中可用數據對象；將所述待同步數據以填充緩存行的方式加載到所述可用數據對象中。

5.如權利要求1所述的同步數據處理方法，其特征在于，所述通過預設的數據處理線程對所述無鎖循環緩沖區中的所述待同步數據進行處理，完成同步數據處理，包括：

通過數據驗證線程驗證所述無鎖循環緩沖區中，所述待同步數據的數字簽名；

當對所述數字簽名驗證通過時，通過去重線程確定所述待同步數據中的重復數據，并對所述重復數據進行去重處理。

6.如權利要求1所述的同步數據處理方法，其特征在于，所述通過預設的數據處理線程對所述無鎖循環緩沖區中的所述待同步數據進行處理，完成同步數據處理，還包括：

獲取去重處理后所述待同步數據的數據源標識；

通過與所述數據源標識所對應的數據標準化線程，對所述待同步數據進行標準化處理，得到標準數據；

將所述標準數據發送至預設的數據應用線程，或者，將所述標準數據進行存儲，完成同步數據處理。

7.如權利要求5所述的同步數據處理方法，其特征在于，所述當對所述數字簽名驗證通過時，通過去重線程確定所述待同步數據中的重復數據，并對所述重復數據進行去重處理，包括：

獲取去重處理后所述待同步數據的同步時間；

根據所述同步時間確定所述待同步數據的硬盤寫入順序；

按照所述硬盤寫入順序，將所述待同步數據持久化到硬盤。

8.一種同步數據處理裝置，其特征在于，所述裝置包括：

接收模塊，用于接收數據同步指令；

獲取模塊，用于根據所述數據同步指令，通過數據同步組件獲取待同步數據，其中，所述待同步數據來自數據源或者異常集群節點，所述數據同步組件包括數據庫同步組件、中間件同步組件、接口同步組件和復合同步組件中的至少一種；

加載模塊，用于將所述待同步數據以填充緩存行的方式加載到無鎖循環緩沖區；

同步模塊，用于通過預設的數據處理線程對所述無鎖循環緩沖區中的所述待同步數據進行處理，完成同步數據處理。

9.一種電子設備，其特征在于，所述電子設備包括：

至少一個處理器；以及，

與所述至少一個處理器通信連接的存儲器；其中，

所述存儲器存儲有可被所述至少一個處理器執行的程序，所述程序被所述至少一個處理器執行，以使所述至少一個處理器能夠執行如權利要求1至7中任一項所述同步數據處理方法。

10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質存儲有同步數據處理程序，所述同步數據處理程序被處理器執行時，實現如權利要求1至7中任一項所述同步數據處理方法的步驟。