[發明專利]數據平臺上的大數據量下載方法

在審

• 申請號: 201410060855.3
• 申請日: 2014-02-24
• 公開（公告）號: CN104866485A
• 公開（公告）日: 2015-08-26
• 發明（設計）人: 嚴鴿群;李燕秋;王莘;舒暢;許磊;蔣卓婕;甘鴻琨;張順;孔曉蘇
• 申請（專利權）人: 上海寶鋼國際經濟貿易有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 上海集信知識產權代理有限公司 31254
• 代理人: 周成

技術領域

本發明涉及網絡數據傳輸技術，尤其涉及一種數據平臺上的大數據量下載方法。

背景技術

對于大型的企業或者網絡平臺來說，常常有大量的數據表報需要進行傳輸，尤其是應用諸如ERP等數據平臺的企業，用戶常常需要將大量的數據報表下載到本地機上進行后續處理。

目前采用的傳輸方式是用戶從自己的客戶端發起請求，系統服務器在其內存中處理請求，根據請求查詢數據庫，將查詢得到的數據項緩存在系統服務器的內存中，等待查詢全部完成后再從系統服務器的內存中傳送給用戶的客戶端。在此過程中，所有的工作均在系統服務器的內存中完成，在數據量很大的時候，在內存中需要創建大量對象來緩存這些數據項。這時會引起可用內存減少，使得系統服務器的其他工作受到影響，在數據量過大的時候還有引起內存溢出導致系統崩潰。一種解決方案是配置更大的內存，但這將引起成本的上升，并且，隨著數據量的不斷增加，僅僅依靠增加內存容量的方式并不能解決大數據量下載的問題。

發明內容

本發明旨在提出一種適用于在數據平臺上進行大數據量下載的方法。

根據本發明的一實施例，提出一種數據平臺上的大數據量下載方法，用于將大數據量由數據庫下載至本地的WEB應用服務器，包括如下的步驟：

數據查詢步驟，系統服務器根據用戶輸入的查詢條件在數據庫中查詢符合條件的數據項的條數。

TXT文件計算步驟，系統服務器將符合條件的數據項分頁，系統服務器根據符合條件的數據項的總條數，以及每一頁對應的TXT文件條數確定TXT文件的文件格式。

TXT文件生成步驟，根據TXT文件的文件格式在本地的WEB應用服務器上生成TXT文件，系統服務器將數據項寫入TXT文件中，寫入完成后釋放系統服務器的內存資源。

輸出流寫入步驟，在系統服務器的內存中形成輸出流，輸出流是數據流，從本地的WEB應用服務器上循環讀取TXT文件中的數據項并寫入輸出流。

數據導出步驟，從輸出流中導出數據項，導出完成后釋放系統服務器的內存資源。

在一個實施例中，數據查詢步驟中，用戶輸入的查詢條件為含有ID號的SQL語句，系統服務器根據SQL語句中的ID號在數據庫中查詢符合條件的數據項的條數，如果沒有符合查詢條件的數據項，則輸出異常報告。

在一個實施例中，在TXT文件生成步驟中，系統服務器依次執行：

根據TXT文件的文件格式在本地的WEB應用服務器上生成TXT文件；

設置將文件寫入TXT文件的完全路徑；

在系統服務器的內存中開啟文件寫入流，根據完全路徑將所述數據項寫入TXT文件中；

寫入完成后關閉所述文件寫入流，釋放系統服務器的內存資源。

在一個實施例中，將數據項寫入TXT文件的過程中，對于TXT文件中的每一個數據項：

根據其中每個字段的數據類型設置輸出的格式；

在字符串數字前增加“=”號并增加雙引號。

在一個實施例中，根據其中每個字段的數據類型設置輸出的格式包括：

對于數據類型為數值型，輸出的格式為直接輸出；

對于數據類型為日期型，輸出的格式為固定日期格式；

對于其他數據類型，輸出的格式為字符串類型。

在一個實施例中，輸出流寫入步驟中，系統服務器在內存中開啟數據流作為輸出流，向輸出流中寫入表頭，并從本地的WEB應用服務器上循環讀取TXT文件中的數據項并寫入輸出流。

在一個實施例中，數據導出步驟中，系統服務器刷新輸出流導出輸出流中的所有緩沖字段以從輸出流中導出數據項，導出完成后關閉輸出流和導出程序以釋放系統服務器的內存資源。

本發明的數據平臺上的大數據量下載方法減少了對于系統服務器的內存的占用，以數據流的方式將處理過程中的數據項落地到本地的WEB應用服務器上并以TXT文件的形式保存，處理完畢后再從TXT文件中讀取數據項并提供給用戶，每一階段完成后均對系統服務器的內存資源進行釋放，有效提高了系統服務器的內存使用效率，提高了系統運行的穩定性。

附圖說明

下面結合附圖對本發明的具體實施方式做進一步詳細具體的說明。

圖1揭示了根據本發明的一實施例的數據平臺上的大數據量下載方法的流程圖。

圖2揭示了根據本發明的一實施例的一種數據平臺上的大數據量下載方法的過程示意圖。