[發明專利]一種海量數據的處理方法和裝置

有效

• 申請號: 201610913101.7
• 申請日: 2016-10-19
• 公開（公告）號: CN107025148B
• 公開（公告）日: 2020-08-25
• 發明（設計）人: 何凱;程磊;許溢天
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F11/14
• 分類號: G06F11/14
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 王劍;林祥

本申請提供一種海量數據的處理方法和裝置。該方法包括：當數據的流入速度大于數據的處理速度時，確定超出處理速度的待處理數據的優先級；將待處理數據的關鍵數據保存至與其優先級對應的泄洪文件中，關鍵數據包括對待處理數據進行處理所需要的數據；當觸發恢復操作時，從恢復操作指定的優先級對應的泄洪文件中獲取保存的關鍵數據；對關鍵數據進行處理，以實現對對應待處理數據的處理。本申請設備在數據量暴漲時，將無法及時處理的待處理數據的關鍵數據保存到與其優先級對應的泄洪文件中，以緩解設備的處理壓力，避免設備崩潰。當數據量正常時，可以有選擇性的觸發面向不同優先級泄洪文件的恢復操作，最終確保數據的一致性，且成本低廉。

技術領域

本申請涉及通信技術領域，尤其涉及一種海量數據的處理方法和裝置。

背景技術

隨著互聯網技術的快速發展，越來越多的業務可以通過網絡實現。當大量業務集中爆發時，比如：“雙十一”、“雙十二”等，服務提供商的部署的各種設備就會面臨巨大的處理壓力，如何應對這種瞬時或短期內數據量的暴漲已成為亟待解決的問題。

發明內容

有鑒于此，本申請提供一種海量數據的處理方法和裝置。

具體地，本申請是通過如下技術方案實現的：

一種海量數據的處理方法，所述方法包括：

當數據的流入速度大于數據的處理速度時，確定超出所述處理速度的待處理數據的優先級；

將所述待處理數據的關鍵數據保存至與所述優先級對應的泄洪文件中，所述關鍵數據包括對所述待處理數據進行處理所需要的數據；

當觸發恢復操作時，從恢復操作指定的優先級對應的泄洪文件中獲取保存的關鍵數據；

對所述關鍵數據進行處理，以實現對對應待處理數據的處理。

一種海量數據的處理裝置，所述裝置包括：

確定單元，當數據的流入速度大于數據的處理速度時，確定超出所述處理速度的待處理數據的優先級；

保存單元，將所述待處理數據的關鍵數據保存至與所述優先級對應的泄洪文件中，所述關鍵數據包括對所述待處理數據進行處理所需要的數據；

獲取單元，當觸發恢復操作時，從恢復操作指定的優先級對應的泄洪文件中獲取保存的關鍵數據；

處理單元，對所述關鍵數據進行處理，以實現對對應待處理數據的處理。

由以上描述可以看出，本申請設備可以在數據量暴漲時，可將設備無法及時處理的待處理數據的關鍵數據保存到與其優先級對應的泄洪文件中，以緩解設備的處理壓力，避免設備崩潰。當數據量正常時，可以有選擇性的觸發面向不同優先級泄洪文件的恢復操作，最終確保數據的一致性，且成本低廉。

附圖說明

圖1是本申請一示例性實施例示出的一種海量數據的處理方法的流程示意圖。

圖2是本申請一示例性實施例示出的一種用于海量數據處理的系統架構圖。

圖3是本申請一示例性實施例示出的一種用于海量數據的處理裝置的一結構示意圖。

圖4是本申請一示例性實施例示出的一種海量數據的處理裝置的框圖。

具體實施方式

這里將詳細地對示例性實施例進行說明，其示例表示在附圖中。下面的描述涉及附圖時，除非另有表示，不同附圖中的相同數字表示相同或相似的要素。以下示例性實施例中所描述的實施方式并不代表與本申請相一致的所有實施方式。相反，它們僅是與如所附權利要求書中所詳述的、本申請的一些方面相一致的裝置和方法的例子。