[發明專利]一種數據采集方法、系統、裝置、電子設備及存儲介質

在審

• 申請號: 202010093384.1
• 申請日: 2020-02-14
• 公開（公告）號: CN111382156A
• 公開（公告）日: 2020-07-07
• 發明（設計）人: 苗澤;宋凱華;索寒生;陳海龍;姜霄
• 申請（專利權）人: 石化盈科信息技術有限責任公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/2458;G06F16/27
• 代理公司: 北京聿宏知識產權代理有限公司 11372
• 代理人: 吳大建;張杰

1.一種數據采集方法，其特征在于，用于采集以分庫分表存儲數據的業務系統數據庫中數據，所述方法包括：

接收查詢請求；

將所述查詢請求分解為分布在若干工作節點的任務，每個所述任務處理一個或者多個分片；所述若干工作節點與業務系統數據庫的所有分庫連接；

將每個所述任務下發至對應工作節點的內存中執行；

從所述若干工作節點的內存獲取查詢結果。

2.根據權利要求1所述的數據采集方法，其特征在于，所述將所述查詢請求分解為分布在若干工作節點的任務，包括：

根據所述查詢請求生成執行計劃；

將所述執行計劃進行分段，以將所述查詢請求分解為分布在多個工作節點的任務。

3.根據權利要求2所述的數據采集方法，其特征在于，所述將所述執行計劃進行分段之前，還包括：

利用預設優化規則對所述執行計劃中的表達式進行標準化。

4.根據權利要求1所述的數據采集方法，其特征在于，所述接收查詢請求之前，還包括：

配置業務系統數據庫的分庫分表路由規則。

5.一種數據采集系統，其特征在于，用于采集以分庫分表存儲數據的業務系統數據庫中數據，所述系統包括：

查詢接收模塊，用于接收查詢請求；

任務分解模塊，用于將所述查詢請求分解為分布在若干工作節點的任務，每個所述任務處理一個或者多個分片；所述若干工作節點分別與業務系統數據庫的所有分庫連接；

任務下發模塊，用于將多個所述任務下發至對應工作節點的內存中執行；

結果獲取模塊，用于從所述若干工作節點的內存獲取查詢結果。

6.一種分布式數據采集裝置，其特征在于，用于采集以分庫分表存儲數據的業務系統數據庫中數據，包括：

一個管理節點，用于執行如權利要求1至4中任一項所述的方法；

若干工作節點，用于并行執行所述管理節點下發的任務。

7.根據權利要求6所述的數據采集裝置，其特征在于，所述若干工作節點并行執行所述管理節點下發的任務過程中，將從所述業務系統數據庫中獲取的數據緩存到內存中，每處理預設緩存量的數據時，將處理結果傳輸到當前任務的下游任務中。

8.根據權利要求6所述的數據采集裝置，其特征在于，所述若干工作節點并行執行所述管理節點下發的任務時，若存在任務所查詢分庫分表的分庫分表路由規則，則獲取該分庫分表路由規則，并讀取該分庫分表路的配置信息。

9.一種電子設備，其特征在于，包括存儲器和處理器，所述存儲器上存儲有計算機程序，所述計算機程序被所述處理器執行時實現如權利要求1至4中任一項所述的方法。

10.一種存儲介質，其特征在于，所述存儲介質上存儲有計算機程序，所述計算機程序被一個或多個處理器執行時，實現如權利要求1至4中任一項所述的方法。