[發明專利]一種數據處理方法和系統

在審

• 申請號: 201210233249.8
• 申請日: 2012-07-05
• 公開（公告）號: CN103533002A
• 公開（公告）日: 2014-01-22
• 發明（設計）人: 錢偉麗
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06F17/30
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 蘇培華

技術領域

本申請涉及網絡技術領域，特別是涉及一種數據處理方法和系統。

背景技術

隨著網絡的發展，用戶也可在網絡中查詢其消費的電子賬單，比如其使用某個銀行的信用卡進行消費后的電子賬單。電子賬單對于用戶的每一筆消費均進行記錄，并進行展示。并且，在很多情況下，用戶均需要將服務器的賬單下載到用戶所在用戶端進行保存。

現有技術中：第一，用戶在使用頁面賬單功能時，如果自定義的查詢條件范圍過大，搜索出來的業務數據總量也很大的話，系統生成下載賬單文件的時間就會加長，系統無法在短時間內給出響應結果，畢竟，系統要實時訪問數據庫獲取大量數據，并生成賬單。用戶在頁面等待響應時，如果等待時間過長，則可能會使用戶錯誤的以為請求失敗，或者是否系統死機等問題，用戶會再次重復點擊發送下載請求，或者刷新頁面的請求，使服務器在短時間內接收了大量下載請求或者刷新請求，而服務器需要對每個請求均進行處理，尤其當網絡中存在大量需求下載包括大量數據的賬單時，由于前述原因，則請求量可能會程幾何級增加，則會大大增加系統的負載；并且給用戶的體驗很差。

第二，因為服務器在同一時間段內存在下載請求處理的限制，由于服務器對于大數據總量的處理時間長，當同一時間存在大量用戶進行下載請求時，則可能導致服務器無法實時響應用戶請求，從而陷入處理堵塞，造成系統的不穩定。

發明內容

本申請所要解決的技術問題是提供一種數據處理方法和系統，當用戶下載大數據總量的賬單時，將其下載請求進行異步處理，避免因用戶長時間等待頁面響應而可能導致的重復發送頁面請求或大量刷新頁面等情況，提升服務器資源的利用效率，降低系統的壓力。

為了解決上述問題，本申請公開了一種數據處理的方法，包括：

接收用戶端基于賬單頁面的賬單下載請求；

解析所述賬單下載請求中的查詢信息，所述信息包括用戶標識和賬單查詢條件信息；

依據所述賬單查詢信息獲得在數據庫中待下載的數據總量，并判斷所述數據總量是否符合閾值條件；

當符合時，則暫停同步響應所述賬單下載請求，基于所述用戶標識和賬單查詢條件信息進入異步生成賬單文件過程，并提示用戶端延時進入下載文件存儲區下載所述賬單文件；

對于所述異步生成的賬單文件，根據所述用戶端標識將異步生成的賬單文件轉存至對應用戶標識的下載文件存儲區。

優選的，所述基于所述用戶標識和賬單查詢條件信息異步生成賬單文件包括：

基于所述用戶標識和賬單查詢條件信息生成賬單請求任務插入賬單請求任務隊列；

所述賬單請求任務隊列根據系統環境提取賬單請求任務執行，生成相應的賬單文件。

優選的，所述賬單請求任務隊列根據系統環境提取賬單請求任務執行，生成相應的賬單文件包括：

賬單請求任務隊列從賬單請求任務隊列中的賬單請求任務管理隊列中，提取排序靠前的賬單請求任務中的SQL處理請求；

發送所述SQL處理請求至數據庫，獲取與所述用戶標識和賬單查詢條件信息對應的各條賬單數據；

基于所述各條賬單數據生成對應的賬單文件。

優選的，生成所述賬單請求任務時包括：

查詢用戶標識對應的用戶級別；

根據所述用戶級別生成相應級別的賬單請求任務；所述用戶級別對應相應的處理優先級；

根據所述級別，將賬單請求任務插入賬單請求任務隊列。

優選的，所述賬單請求任務隊列根據系統環境提取賬單請求任務執行時包括：

分析系統當前系統處理賬單請求任務請求時的負載情況；

在不超過系統負載閾值的條件下，根據負載情況提取相應個數的賬單請求任務執行。

優選的，判斷所述數據總量是否符合閾值條件包括：

當不符合時，則同步生成賬單文件，響應所述賬單下載請求。

優選的，根據所述用戶端標識將異步生成的賬單文件轉存至對應用戶標識的下載文件存儲區包括：

記錄所述賬單文件在所述下載文件存儲區的時間；

當所述時間超過閾值時，則清理相應賬單文件。

優選的，當暫停同步響應所述賬單下載請求，提示用戶端延時進入下載文件存儲區下載所述賬單文件之后還包括：

對于同一用戶端發送賬單下載請求，判斷各暫停同步響應的賬單下載請求中是否存在所述賬單下載請求相同的請求；

如果存在，則阻斷賬單下載請求，并提示用戶端延時進入下載文件存儲區下載所述賬單文件。

相應的，本申請還公開了一種數據處理的系統，包括：