[發明專利]一種導出數據的方法和系統

在審

• 申請號: 201810864462.6
• 申請日: 2018-08-01
• 公開（公告）號: CN110807058A
• 公開（公告）日: 2020-02-18
• 發明（設計）人: 孫朋偉
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/2455
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 張一軍;李陽

本發明公開了一種導出數據的方法和系統，涉及計算機技術領域。該方法的一具體實施方式包括：接收業務端發送的業務數據導出指令，所述業務端根據用戶的業務數據需求生成該業務數據導出指令；根據所述業務數據導出指令，查詢業務端數據庫的業務數據，并基于查詢獲得的業務數據生成業務數據文件；將所述業務數據文件發送給用戶。該實施方式能夠與業務功能解耦，不影響業務功能使用，從而提高業務系統的用戶體驗。

技術領域

本發明涉及計算機技術領域，尤其涉及一種導出數據的方法和系統。

背景技術

隨著業務的不斷的迭代和發展，數據量也在不斷的成倍增加，數據逐漸成為業務人員分析業務發展的關鍵參考，為此業務系統需要經常性的導出大量數據供業務人員使用。現有的導出數據的方式是，業務人員在業務系統前端創建一條導出任務，然后業務系統獲取任務并執行，在業務系統的數據庫中查詢數據，最后將導出的數據發送到創建任務的業務人員的郵箱中。

在實現本發明過程中，發明人發現現有技術中至少存在如下問題：現有的數據導出功能和本身業務功能相互耦合，當導出數據量到達百萬級，千萬級時經常占用大量業務機器的CPU、內存和I/O，可能會導致業務系統吞吐量降低等各種問題，影響業務功能使用，降低用戶前端體驗。

因此，亟需一種與業務功能解耦，不影響業務功能使用的導出數據的方法和系統。

發明內容

有鑒于此，本發明實施例提供一種導出數據的方法和系統，能夠與業務功能解耦，不影響業務功能使用，從而提高業務系統的用戶體驗。

為實現上述目的，根據本發明實施例的一個方面，提供了一種導出數據的方法，包括：

接收業務端發送的業務數據導出指令，所述業務端根據用戶的業務數據需求生成該業務數據導出指令；

根據所述業務數據導出指令，查詢業務端數據庫的業務數據，并基于查詢獲得的業務數據生成業務數據文件；

將所述業務數據文件發送給用戶。

進一步的，所述根據業務數據導出指令，查詢業務端數據庫的業務數據，并基于查詢獲得的業務數據生成業務數據文件包括：

根據所述業務數據導出指令，在任務池中添加對應的業務數據導出任務；

從任務池中抓取業務數據導出任務并執行，以查詢業務端數據庫的業務數據，并基于查詢獲得的業務數據生成業務數據文件。

可選的，所述任務池中維護有每個業務數據導出任務的是否可執行狀態，所述執行的業務數據導出任務是從任務池中抓取的可執行狀態的業務數據導出任務；

所述方法還包括：

在任務池中添加業務數據導出任務后，將該業務數據導出任務設置為不可執行狀態；

對任務池中設置為不可執行狀態的業務數據導出任務執行下述步驟：

確定業務數據導出任務是否可以分解，若可以，則將該業務數據導出任務分解為多個子任務，將每個子任務分別作為新的業務數據導出任務添加到任務池，否則，將該業務數據導出任務更新為可執行狀態。

可選的，若指定業務數據導出指令，用于指示導出包括主表數據和從表數據的業務數據，

查詢業務端數據庫的業務數據包括：

在業務端數據庫的主庫或從庫查詢主表數據，在查詢緩存中查詢從表數據，若所述查詢緩存中不存在該從表數據，則在業務端數據庫的主庫或從庫查詢該從表數據，所述查詢緩存中預保存有所述業務端數據庫的部分從表數據。

可選的，所述查詢緩存包括內存緩存和磁盤緩存，所述內存緩存中預保存有所述從表數據中的熱數據，所述磁盤緩存中預保存有所述從表數據中的冷數據；