[發明專利]數據平臺上的大數據量下載方法

在審

• 申請號: 201410060855.3
• 申請日: 2014-02-24
• 公開（公告）號: CN104866485A
• 公開（公告）日: 2015-08-26
• 發明（設計）人: 嚴鴿群;李燕秋;王莘;舒暢;許磊;蔣卓婕;甘鴻琨;張順;孔曉蘇
• 申請（專利權）人: 上海寶鋼國際經濟貿易有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 上海集信知識產權代理有限公司 31254
• 代理人: 周成

1.一種數據平臺上的大數據量下載方法，用于將大數據量由數據庫下載至本地的WEB應用服務器，其特征在于，包括：

數據查詢步驟，系統服務器根據用戶輸入的查詢條件在數據庫中查詢符合條件的數據項的條數；

TXT文件計算步驟，系統服務器將所述符合條件的數據項分頁，系統服務器根據所述符合條件的數據項的總條數，以及每一頁對應的TXT文件條數確定TXT文件的文件格式；

TXT文件生成步驟，根據所述TXT文件的文件格式在本地的WEB應用服務器上生成TXT文件，系統服務器將所述數據項寫入TXT文件中，寫入完成后釋放系統服務器的內存資源；

輸出流寫入步驟，在系統服務器的內存中形成輸出流，所述輸出流是數據流，從本地的WEB應用服務器上循環讀取TXT文件中的數據項并寫入輸出流；

數據導出步驟，從所述輸出流中導出數據項，導出完成后釋放系統服務器的內存資源。

2.如權利要求1所述的數據平臺上的大數據量下載方法，其特征在于，所述數據查詢步驟中，用戶輸入的查詢條件為含有ID號的SQL語句，系統服務器根據SQL語句中的ID號在數據庫中查詢符合條件的數據項的條數，如果沒有符合查詢條件的數據項，則輸出異常報告。

3.如權利要求1所述的數據平臺上的大數據量下載方法，其特征在于，所述TXT文件生成步驟中，系統服務器依次執行：

根據所述TXT文件的文件格式在本地的WEB應用服務器上生成TXT文件；

設置將文件寫入TXT文件的完全路徑；

在系統服務器的內存中開啟文件寫入流，根據所述完全路徑將所述數據項寫入TXT文件中；

寫入完成后關閉所述文件寫入流，釋放系統服務器的內存資源。

4.如權利要求3所述的數據平臺上的大數據量下載方法，其特征在于，將數據項寫入TXT文件的過程中，對于TXT文件中的每一個數據項：

根據其中每個字段的數據類型設置輸出的格式；

在字符串數字前增加“=”號并增加雙引號。

5.如權利要求4所述的數據平臺上的大數據量下載方法，其特征在于，根據其中每個字段的數據類型設置輸出的格式包括：

對于數據類型為數值型，輸出的格式為直接輸出；

對于數據類型為日期型，輸出的格式為固定日期格式；

對于其他數據類型，輸出的格式為字符串類型。

6.如權利要求1所述的數據平臺上的大數據量下載方法，其特征在于，所述輸出流寫入步驟中，系統服務器在內存中開啟數據流作為輸出流，向輸出流中寫入表頭，并從本地的WEB應用服務器上循環讀取TXT文件中的數據項并寫入輸出流。

7.如權利要求6所述的數據平臺上的大數據量下載方法，其特征在于，所述數據導出步驟中，系統服務器刷新輸出流導出輸出流中的所有緩沖字段以從輸出流中導出數據項，導出完成后關閉輸出流和導出程序以釋放系統服務器的內存資源。