[發明專利]一種數據導出方法及系統

有效

• 申請號: 201710168794.6
• 申請日: 2017-03-21
• 公開（公告）號: CN108628890B
• 公開（公告）日: 2021-04-30
• 發明（設計）人: 劉喜男
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F11/30
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 張一軍;姜勁

本發明提供一種數據導出方法及系統，該方法用于在接收用戶的數據導出請求之后，將特定數據從應用服務器和/或數據庫服務器中導出并將經過查詢生成的數據文件發送至客戶端，其中，該方法包括如下步驟：獲取所述應用服務器和/或所述數據庫服務器的性能指標；根據所述性能指標與預設閥值的比較結果，確定數據文件的導出方式。由于本發明對服務器進行實時監控并且能夠實時根據服務器的性能指標自動改變導出模式的技術手段，既滿足了在服務器空閑時的實時同步導出，又滿足在服務器壓力過大時自動轉換為異步處理，從而完成導出，降低服務器壓力。

技術領域

本發明涉及計算機領域，具體涉及一種數據導出方法及系統。

背景技術

數據從系統中查詢導出并下載，在當今互聯網數據信息時代，幾乎成為每一個系統不可缺少的一個重要功能。導出功能通常要執行相對時間較長的數據查詢，并將大量的數據寫入內存，這個單一的過程對系統的資源消耗，性能方面有很大的沖擊，加之互聯網并發的特點，如果不能很好的處理，無外乎雪上加霜，最終可能影響其他系統功能的正常使用，甚至于系統崩潰。

針對上述問題，在現有技術中記載有如下兩篇專利及實現方案：

方案一：《一種將數據導出為Excel文件的方法及裝置》重點強調了邊讀取數據邊轉換，從而節省內存的優勢。具體來說，該現有技術是通過系統頁面上提供的”導出”功能按鈕觸發導出功能，應用系統后臺根據請求參數進行數據查詢，并將查詢到的數據結果寫入內存，利用開源導出框架(poi)進行數據文件的封裝，返回一個文件流到用戶端并下載。

方案二：《一種通用EXCEL/PDF報表導出組件》重點解決了統一開發模板的問題，降低開發周期，建立一個通用的開發組件。具體來說，該現有技術是直接采用異步導出方案，即當觸發導出功能時，應用系統會在后臺生成一條導出任務，直接給出用戶友好提示(如：請稍后查收導出結果)。應用系統在后臺將導出任務執行完成以后，通過其他途徑將導出結果文件發送給用戶(如郵件方式)。

在實現本發明過程中，發明人發現現有技術中至少存在如下問題：

對于方案一，當導出并發請求過大時，會嚴重影響服務器處理性能，會影響應用其他功能的正常使用，甚至于系統崩潰。

對于方案二，雖然可以解決方案一中暴露的問題，保證系統的健康運行，但有時候是沒有必要直接采用異步方式導出的。比如當前系統處于空閑階段，是應該將結果實時返回客戶端的。

發明內容

有鑒于此，本發明實施例提供一種數據導出方法及系統，能夠通過監控自動改變導出模式，既滿足了在服務器空閑時的實時同步導出，又滿足在服務器壓力過大時自動轉換為異步處理，從而完成導出，降低服務器壓力。

為實現上述目的，根據本發明的一個方面，提供了一種數據導出方法，所述方法用于在接收用戶的數據導出請求之后，將特定數據從應用服務器和/或數據庫服務器中導出并將經過查詢生成的數據文件發送至客戶端，其中，該方法包括如下步驟：

獲取所述應用服務器和/或所述數據庫服務器的性能指標；

根據所述性能指標與預設閥值的比較結果，確定數據文件的導出方式。

可選地，該方法還包括：在獲取所述應用服務器和/或所述數據庫服務器的性能指標之后，將所述性能指標上傳至云存儲服務器。

可選地，該方法還包括：在接收用戶的數據導出請求之前，判斷所述數據導出請求對應的線程是否存在于本地線程中，如果存在，則退出所述本地線程，否則，將所述數據導出請求對應的線程保存至所述本地線程中，對所述數據導出請求進行處理。

可選地，所述性能指標包括但不限于：CPU使用率、內存使用情況、線程數。

可選地，該方法還包括：如果所述性能指標小于預設閥值，則執行數據查詢操作并將所述數據文件導出并發送至所述客戶端；