[發明專利]基于FTP服務器與數據壓縮的數據處理方法

有效

• 申請號: 201710562016.5
• 申請日: 2017-07-11
• 公開（公告）號: CN107395701B
• 公開（公告）日: 2021-01-29
• 發明（設計）人: 王文龍;王春曉;金麗麗
• 申請（專利權）人: 攜程旅游網絡技術（上海）有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L29/06;H04L12/58
• 代理公司: 上海弼興律師事務所 31283
• 代理人: 薛琦;張冉

本發明公開了一種基于FTP服務器與數據壓縮的數據處理方法，包括以下步驟：S1、從數據庫中分批讀取數據；S2、根據數據量分批寫入到多個數據流中；S3、將多個數據流寫入到FTP服務器中；S4、對多個數據流進行壓縮；S5、將壓縮后的文件上傳到FTP服務器中；S6、從FTP服務器下載數據。本發明能夠分批讀取數據并分批寫入到數據流中，從而用預生成數據并壓縮數據以減小數據量的方案來實現自動化下載報表數據。

技術領域

本發明涉及一種大數據報表下載技術領域，特別是涉及一種基于FTP服務器與數據壓縮的數據處理方法。

背景技術

攜程每月的期初不平報表數據非常巨大，目前的數據量已達到數百萬計，現在的操作方式是通過人工去SQLSERVER拉取數據，然后分批另存為EXCEL再發送給財務人員對賬，沒有實現系統自動化。

要實現財務能自動下載數據，就必須給財務做頁面來操作下載，考慮到數據量巨大，基于通過瀏覽器實時下載報表數據，會導致系統內存高升，并且會出現大概率超時導致工作人員無法下載到財報數據。

發明內容

本發明要解決的技術問題是為了克服現有技術中通過瀏覽器實時下載報表數據，會導致系統內存高升，并且會出現大概率超時導致工作人員無法下載到財報數據的缺陷，提供一種基于FTP(文件傳輸協議)服務器與數據壓縮的數據處理方法。

本發明是通過下述技術方案來解決上述技術問題的：

本發明提供了一種基于FTP服務器與數據壓縮的數據處理方法，包括以下步驟：

S1、從數據庫中分批讀取數據；

S2、根據數據量分批寫入到多個數據流中；

S3、將多個數據流寫入到FTP服務器中；

S4、對多個數據流進行壓縮；

S5、將壓縮后的文件上傳到FTP服務器中；

S6、從FTP服務器下載數據。

較佳地，步驟S1之前包括：

S01、根據數據量判斷是否需要分批讀取數據，若是，則執行步驟S1，若否，則一次性讀取數據，然后執行步驟S2。

較佳地，步驟S6還包括：通過郵件通知工作人員通過頁面從FTP服務器下載數據。

較佳地，步驟S5中所述文件為EXCEL文件。

本發明的積極進步效果在于：本發明能夠分批讀取數據并分批寫入到數據流中，從而用預生成數據并壓縮數據以減小數據量的方案來實現自動化下載報表數據。

附圖說明

圖1為本發明的較佳實施例的基于FTP服務器與數據壓縮的數據處理方法的流程圖。

具體實施方式

下面通過實施例的方式進一步說明本發明，但并不因此將本發明限制在所述的實施例范圍之中。

如圖1所示，本發明的基于FTP服務器與數據壓縮的數據處理方法包括以下步驟：

步驟100、根據數據量判斷是否需要分批讀取數據，若是，則執行步驟101，若否，則一次性讀取數據，然后執行步驟102；

步驟101、從數據庫中分批讀取數據；

步驟102、根據數據量分批寫入到多個數據流中；

步驟103、將多個數據流寫入到FTP服務器中；

步驟104、對多個數據流進行壓縮；

步驟105、將壓縮后的文件上傳到FTP服務器中；