[發明專利]數據處理方法、裝置、電子設備及計算機存儲介質

在審

• 申請號: 201911355053.4
• 申請日: 2019-12-25
• 公開（公告）號: CN113032410A
• 公開（公告）日: 2021-06-25
• 發明（設計）人: 鞠進濤;朱云鋒;程霖
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F16/23
• 分類號: G06F16/23;G06F16/27
• 代理公司: 北京合智同創知識產權代理有限公司 11545
• 代理人: 李杰;舒道宏

本發明實施例提供了一種數據處理方法、裝置、電子設備及計算機存儲介質，涉及數據處理技術領域。其中，所述方法包括：在基于分布式一致性系統中待處理的數據請求的數量確定所述分布式一致性系統處于繁忙狀態時，預估所述待處理的數據請求在所述分布式一致性系統中的資源消耗數據；在確定所述資源消耗數據超過所述分布式一致性系統設置的全局資源消耗允許數據時，對與所述分布式一致性系統連接的客戶端發送的數據請求執行限流操作。通過本發明實施例，能夠既簡便又精準地對分布式一致性系統的請求進行限流，從而有效保證了分布式一致性系統的服務質量。

技術領域

本申請實施例涉及數據處理技術領域，尤其涉及一種數據處理方法、裝置、電子設備及計算機存儲介質。

背景技術

目前，QOS(Quality of Service，服務質量)設計基本上通過限流也就是限速來實現，簡單理解就是一個兩端開口的漏斗，輸入一側開口大，輸出一側開口小。不論輸入一側的流量有多大，輸出一側總是以最大可預期的速度進行輸出。如圖1A所示，不管客戶端的壓力有多大，服務端總是能夠在穩定可控的請求量的基礎上，達到服務質量穩定的要求。

目前，對請求進行限流的方式主要有兩種，一種是精準速率控制。精準速率控制一般用于在對系統能力和業務流量有較好預估的前提下，對需要控制的流量預先配置速率，通用的做法是使用Leaky Bucket算法或TokenBucket算法。這類算法被廣泛應用于各類系統限速，例如，基礎庫guava、web服務Nginx，以及各種語言的工具包中。然而，該方式需要較多的適配工作，例如，不同的網絡環境，不同的服務器型號，可能處理速率不同，需要不同的速率配置。另一種是壓力反饋控制。這種控制方式更多用于希望最大限度地利用后端服務器的能力的場景，當服務器還有能力處理請求時，請求均會被接受，否則予以拒絕。由于相同的服務器的部署環境不同，服務器的處理速度可能存在較大差異，該方式常見的實現方式是為服務器分配一個緩沖區，請求首先會進入緩沖區被緩存，而后服務器的專門的處理模塊會從緩沖區中獲取請求進行處理。當處理模塊的處理能力達到上限時，緩沖區會被請求填滿，從而開始拒絕請求。然而，該方式需要額外的緩沖區，緩沖區的實現可能較復雜。由此可見，如何既簡便又精準地對系統的請求進行限流成為當前亟待解決的技術問題。

發明內容

有鑒于此，本發明實施例提供一種數據處理方法、裝置、電子設備及計算機存儲介質，以解決現有技術中存在的如何既簡便又精準地對系統的請求進行限流的技術問題。

根據本發明實施例的第一方面，提供了一種數據處理方法。所述方法包括：在基于分布式一致性系統中待處理的數據請求的數量確定所述分布式一致性系統處于繁忙狀態時，預估所述待處理的數據請求在所述分布式一致性系統中的資源消耗數據；在確定所述資源消耗數據超過所述分布式一致性系統設置的全局資源消耗允許數據時，對與所述分布式一致性系統連接的客戶端發送的數據請求執行限流操作。

根據本發明實施例的第二方面，提供了一種數據處理裝置。所述裝置包括：預估模塊，用于在基于分布式一致性系統中待處理的數據請求的數量確定所述分布式一致性系統處于繁忙狀態時，預估所述待處理的數據請求在所述分布式一致性系統中的資源消耗數據；第一限流模塊，用于在確定所述資源消耗數據超過所述分布式一致性系統設置的全局資源消耗允許數據時，對與所述分布式一致性系統連接的客戶端發送的數據請求執行限流操作。

根據本申請實施例的第三方面，提供了一種電子設備，包括：一個或多個處理器；計算機可讀介質，配置為存儲一個或多個程序，當所述一個或多個程序被所述一個或多個處理器執行，使得所述一個或多個處理器實現如上述實施例的第一方面所述的數據處理方法。

根據本申請實施例的第四方面，提供了一種計算機可讀介質，其上存儲有計算機程序，該程序被處理器執行時實現如上述實施例的第一方面所述的數據處理方法。