[發明專利]一種導出數據的方法和系統

在審

• 申請號: 201810864462.6
• 申請日: 2018-08-01
• 公開（公告）號: CN110807058A
• 公開（公告）日: 2020-02-18
• 發明（設計）人: 孫朋偉
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/2455
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 張一軍;李陽

1.一種導出數據的方法，其特征在于，包括：

接收業務端發送的業務數據導出指令，所述業務端根據用戶的業務數據需求生成該業務數據導出指令；

根據所述業務數據導出指令，查詢業務端數據庫的業務數據，并基于查詢獲得的業務數據生成業務數據文件；

將所述業務數據文件發送給用戶。

2.根據權利要求1所述的方法，其特征在于，所述根據業務數據導出指令，查詢業務端數據庫的業務數據，并基于查詢獲得的業務數據生成業務數據文件包括：

根據所述業務數據導出指令，在任務池中添加對應的業務數據導出任務；

從任務池中抓取業務數據導出任務并執行，以查詢業務端數據庫的業務數據，并基于查詢獲得的業務數據生成業務數據文件。

3.根據權利要求2所述的方法，其特征在于，所述任務池中維護有每個業務數據導出任務的是否可執行狀態，所述執行的業務數據導出任務是從任務池中抓取的可執行狀態的業務數據導出任務；

所述方法還包括：

在任務池中添加業務數據導出任務后，將該業務數據導出任務設置為不可執行狀態；

對任務池中設置為不可執行狀態的業務數據導出任務執行下述步驟：

確定業務數據導出任務是否可以分解，若可以，則將該業務數據導出任務分解為多個子任務，將每個子任務分別作為新的業務數據導出任務添加到任務池，否則，將該業務數據導出任務更新為可執行狀態。

4.根據權利要求1所述的方法，其特征在于，若指定業務數據導出指令，用于指示導出包括主表數據和從表數據的業務數據，

查詢業務端數據庫的業務數據包括：

在業務端數據庫的主庫或從庫查詢主表數據，在查詢緩存中查詢從表數據，若所述查詢緩存中不存在該從表數據，則在業務端數據庫的主庫或從庫查詢該從表數據，所述查詢緩存中預保存有所述業務端數據庫的部分從表數據。

5.根據權利要求4所述的方法，其特征在于，所述查詢緩存包括內存緩存和磁盤緩存，所述內存緩存中預保存有所述從表數據中的熱數據，所述磁盤緩存中預保存有所述從表數據中的冷數據；

所述在查詢緩存中查詢從表數據包括：

在內存緩存中查詢該從表數據，若所述內存緩存中不存在該從表數據，則在磁盤緩存中查詢該從表數據。

6.根據權利要求2所述的方法，其特征在于，所述從任務池中抓取業務數據導出任務并執行，以查詢業務端數據庫的業務數據，并基于查詢獲得的業務數據生成業務數據文件包括：

根據所述抓取的業務數據導出任務的導出數據總量，將業務數據導出任務劃分為多個批次執行，以逐批次查詢業務端數據庫的業務數據，并基于每個批次查詢獲得的業務數據生成業務數據文件。

7.根據權利要求6所述的方法，其特征在于，還包括：

在執行業務數據導出任務之前，統計業務數據導出任務的導出數據總量并記錄；

在該業務數據導出任務的每批次的業務數據查詢完成后，記錄該批次的查詢成功的業務數據量和查詢失敗的業務數據量；

其中，用戶可通過業務端查看所述記錄。

8.一種導出數據的系統，其特征在于，包括：業務端和數據導出端，所述數據導出端包括：

接收模塊，用于接收業務端發送的業務數據導出指令，所述業務端根據用戶的業務數據需求生成該業務數據導出指令；

執行模塊，用于根據所述業務數據導出指令，查詢業務端數據庫的業務數據，并基于查詢獲得的業務數據生成業務數據文件；

發送模塊，用于將所述業務數據文件發送給用戶。

9.根據權利要求8所述的系統，其特征在于，所述執行模塊還用于根據所述業務數據導出指令，在任務池中添加對應的業務數據導出任務；

從任務池中抓取業務數據導出任務并執行，以查詢業務端數據庫的業務數據，并基于查詢獲得的業務數據生成業務數據文件。