[發明專利]適用于MySQL中客戶數據的并行異構方法、系統、介質及設備

有效

• 申請號: 202010176448.4
• 申請日: 2020-03-13
• 公開（公告）號: CN111414363B
• 公開（公告）日: 2023-04-14
• 發明（設計）人: 姚維召;杜川
• 申請（專利權）人: 上海銀賽計算機科技有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/2457
• 代理公司: 上海段和段律師事務所 31334
• 代理人: 李佳俊;郭國中

1.一種適用于MySQL中客戶數據的并行異構方法，其特征在于，包括：

環境搭建步驟：準備預定MySQL數據庫，搭建可用度大于設定閾值的Canal和Elasticsearch環境；

環境配置步驟：在Canal上配置需要進行數據異構處理的MySQL信息；

Canal-Consumer服務開發步驟：全量異構初始化客戶設定數據，對binlog日志的訂閱，按照客戶主鍵ID分組的處理線程，處理客戶相關表數據的Sluice，使用Elasticsearch的API以及Elasticsearch索引的創設；

Elasticsearch索引創設步驟：使用客戶ID作為Elasticsearch的文檔ID，提取業務需求的數據創設Mapping；

并行處理步驟：獲取對應的處理表Sluice，按照客戶主鍵ID，通過ID％線程數獲得對應的線程標識，將取到的binlog操作數據放入到對應線程的隊列中，線程中調用Elasticsearch對應的API完成操作，獲取并行處理結果信息。

2.根據權利要求1所述的適用于MySQL中客戶數據的并行異構方法，其特征在于，還包括：

EsQuery服務開發步驟：使用Elasticsearch的查詢API，根據具體業務需求的查詢，提供對外查詢接口，獲取EsQuery服務開發結果信息。

3.根據權利要求1所述的適用于MySQL中客戶數據的并行異構方法，其特征在于，還包括：

處理查詢服務搭建步驟：部署可用度大于設定閾值的Canal-Consumer服務以及EsQuery服務，獲取處理查詢服務搭建結果信息。

4.根據權利要求1所述的適用于MySQL中客戶數據的并行異構方法，其特征在于，還包括：

結果驗證步驟：實時同步數據和查詢數據，獲取驗證結果信息。

5.一種適用于MySQL中客戶數據的并行異構系統，其特征在于，包括：

環境搭建模塊：準備預定MySQL數據庫，搭建可用度大于設定閾值的Canal和Elasticsearch環境；

環境配置模塊：在Canal上配置需要進行數據異構處理的MySQL信息；

Canal-Consumer服務開發模塊：全量異構初始化客戶設定數據，對binlog日志的訂閱，按照客戶主鍵ID分組的處理線程，處理客戶相關表數據的Sluice，使用Elasticsearch的API以及Elasticsearch索引的創設；

Elasticsearch索引創設模塊：使用客戶ID作為Elasticsearch的文檔ID，提取業務需求的數據創設Mapping；

并行處理模塊：獲取對應的處理表Sluice，按照客戶主鍵ID，通過ID％線程數獲得對應的線程標識，將取到的binlog操作數據放入到對應線程的隊列中，線程中調用Elasticsearch對應的API完成操作，獲取并行處理結果信息。

6.根據權利要求5所述的適用于MySQL中客戶數據的并行異構系統，其特征在于，還包括：

EsQuery服務開發模塊：使用Elasticsearch的查詢API，根據具體業務需求的查詢，提供對外查詢接口，獲取EsQuery服務開發結果信息。

7.根據權利要求5所述的適用于MySQL中客戶數據的并行異構系統，其特征在于，還包括：

處理查詢服務搭建模塊：部署可用度大于設定閾值的Canal-Consumer服務以及EsQuery服務，獲取處理查詢服務搭建結果信息。

8.根據權利要求5所述的適用于MySQL中客戶數據的并行異構系統，其特征在于，還包括：

結果驗證模塊：實時同步數據和查詢數據，獲取驗證結果信息。

9.一種存儲有計算機程序的計算機可讀存儲介質，其特征在于，所述計算機程序被處理器執行時實現權利要求1至4中任一項所述的適用于MySQL中客戶數據的并行異構方法的步驟。

10.一種適用于MySQL中客戶數據的并行異構設備，其特征在于，包括：控制器；

所述控制器包括權利要求9所述的存儲有計算機程序的計算機可讀存儲介質，所述計算機程序被處理器執行時實現權利要求1至4中任一項所述的適用于MySQL中客戶數據的并行異構方法的步驟；或者，所述控制器包括權利要求5至8中任一項所述的適用于MySQL中客戶數據的并行異構系統。