[發明專利]一種針對大量數據處理的方法

在審

• 申請號: 202010625078.8
• 申請日: 2020-07-02
• 公開（公告）號: CN111859084A
• 公開（公告）日: 2020-10-30
• 發明（設計）人: 曹越
• 申請（專利權）人: 上海締安科技股份有限公司
• 主分類號: G06F16/953
• 分類號: G06F16/953
• 代理公司: 蘇州創元專利商標事務所有限公司 32103
• 代理人: 范晴;王凱

本發明公開了一種針對大量數據處理的方法，對于用戶、設備等相互傳輸的http請求信息，首先需要以一定順序進行存儲，并且按序給予數字id，一般可以根據發送順序或者接收順序進行排序存儲。在服務器獲取客戶端的http請求時，需要帶有上一次獲取的最大id號以及所需要獲取的記錄條數n。服務器收到后，將大于此id號的數據，按id從小到大排序，將排序中id最小的n條記錄返回給客戶端。該方法減少單個請求前端相應時間，盡快在前端進行展示或處理；減少后端內存或存儲空間消耗，有效解決系統瓶頸；對于信息總量沒有限制，在響應時間充分的情況下，可以無限擴展。

技術領域

本發明涉及數據處理術領域，尤其涉及一種針對大量數據處理的方法。

背景技術

隨著互聯網時代的高速發展，人們的生活發生了巨大的變化。人們會利用互聯網進行工作、學習和生活，其中利用互聯網的便利尋找學習資料、工作資料、購置生活用品的現象已經非常普遍。現代社會已經進入高科技時代，所有的辦公環境及溝通交流都是通過電子產品，數據的產生速度及共享速度也成指數增長，從而導致數據量的劇增。但由于數據的來源及類型變得復雜多樣性，數據量非常龐大，與傳統的數據有很大的區別。在傳統數據中，數據存儲、處理及分析的數據量相對較少，可以采用關系型數據庫和并行倉庫處理，難以保證擴展性。

在通信過程中，經常有需要獲取一組連續數據統計信息的情況，例如在前端需要獲取大量用戶的相關信息。通用的做法是前端發送一個請求，后端針對這個請求，回復一段很長的數據回復。

發明內容

本發明提供的一種技術方案是一種針對大量數據處理的方法，其解決大量數據的獲取過程中，如果數據量很大，會消耗客戶端和服務端的大量資源，導致獲取速度慢甚至無法獲取任何數據的問題。

本發明的技術方案是：對于用戶、設備等相互傳輸的請求信息，前端頁面發送http請求給服務器，請求略大于一定數量的用戶信息時，http服務器內存會增大，回復較慢，從而導致前端加載時間長，會卡住一段時間后才能正常顯示。

前端頁面發送http請求給服務器，請求大于一定數量的用戶信息并達到更高的存儲臨界值后，會因為返回太慢，整個頁面無響應而報錯。

因此，為了解決上述問題，對于用戶、設備等相互傳輸的http請求信息，首先需要以一定順序進行存儲，并且按序給予數字id，一般可以根據發送順序或者接收順序進行排序存儲。

在服務器獲取客戶端的http請求時，需要帶有上一次獲取的最大id號以及所需要獲取的記錄條數n。

服務器收到后，將大于此id號的數據，按id從小到大排序，將排序中id最小的n條記錄返回給客戶端。

這樣每次請求最多會拿到n條記錄，當總數為m條時，最多需請求要m/n +1 次。

客戶端的第一個請求所帶的id號，需要小于數字id的最小值，一般來說，數字id的值域為正整數，第一個請求所帶的id號為0。

所需要的記錄條數n可變，取值一般以一條記錄長度不超過整個系統的瓶頸長度（實際常使用的n值為50或100）。

本發明的優點是：

1、減少單個請求前端相應時間，盡快在前端進行展示或處理。

2、減少后端內存或存儲空間消耗，有效解決系統瓶頸。

3、對于信息總量沒有限制，在響應時間充分的情況下，可以無限擴展。

具體實施方式

實施例1

對于用戶、設備等相互傳輸的http請求信息，首先需要以一定順序進行存儲，并且按序給予數字id，一般可以根據發送順序或者接收順序進行排序存儲。