[發明專利]均衡分布式內存數據庫負載的方法和裝置

有效

• 申請號: 201811204395.1
• 申請日: 2018-10-16
• 公開（公告）號: CN111061557B
• 公開（公告）日: 2023-04-14
• 發明（設計）人: 方超
• 申請（專利權）人: 杭州海康威視數字技術股份有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 韓東艷

本申請提供了一種均衡分布式內存數據庫負載的方法和裝置，屬于大數據技術領域。所述方法包括：在均衡分布式內存數據庫的負載時，可以基于每個節點當前分片的數目、單個分片在本地節點上被完成處理的平均時長和單個分片通過跨網絡方式在非本地節點上被完成處理的平均時長，確定在負載均衡時，每個節點處理的分片的指示信息，指示信息用于指示來自于各節點的分片，通知給各個節點，后續各個節點可以基于指示信息，獲取分片進行處理。采用本申請，可以提高分片處理效率。

技術領域

本申請涉及大數據技術領域，特別涉及一種均衡分布式內存數據庫負載的方法和裝置。

背景技術

隨著計算機技術和網絡技術的發展，在大數據領域，分布式系統變的越來越廣泛，分布式內存數據庫作為分布式系統中主要數據庫，主要是將數據放在內存中以提供操作的數據庫，相對于磁盤存儲，由于分布式內存數據庫的讀寫速度遠高于磁盤，所以基于分布式內存數據庫的存儲有更高的應用性。

在分布式內存數據庫中包括多個節點，每個節點均可對分片(分片是按照固定的行數的數據組成的一個邏輯單元)進行處理，但是在分布式內存數據庫運行過程中，由于某些原因(如分布式內存數據庫擴容，新增的節點沒有分片、某個節點由于網絡延遲，錯過了新數據的分配、某個節點下線再重啟恢復，之前存儲的分片中剔除了部分過期數據，也錯過了下線期間的新數據分配等)會使各個節點的CPU占用率不相同(即負載不均衡)，其中一些節點的CPU占用率高，而另一些節點的CPU占用率低，CPU占用率高的節點處理分片的能力較低，等待時長比較長，所以會導致分片處理效率較低。

發明內容

為了解決現有技術的問題，本發明實施例提供了一種均衡分布式內存數據庫負載的方法和裝置。所述技術方案如下：

第一方面，提供了一種均衡分布式內存數據庫負載的方法，所述方法包括：

獲取目標分布式內存數據庫中每個節點當前分片的數目和當前分片的標識，并獲取第一時長和第二時長，其中，所述第一時長為單個分片在本地節點上被完成處理的平均時長，所述第二時長為單個分片通過跨網絡方式在非本地節點上被完成處理的平均時長；

根據每個節點當前分片的數目、每個節點當前分片的標識、所述第一時長和所述第二時長，確定在負載均衡時，每個節點處理的分片的指示信息，其中，所述指示信息用于指示來自于各節點的分片；

對于每個節點，將所述節點的分片的指示信息發送至所述節點，以使所述節點根據所述節點的分片的指示信息，獲取分片進行處理。

可選的，所述獲取第一時長和第二時長，包括：

統計第一預設數目個分片在本地節點上分別被完成處理的時長，并且統計第二預設數目個分片在跨網絡非本地節點上分別被完成處理的時長；

確定統計出的所述第一預設數目個分片在本地節點上分別被完成處理的時長的平均值為第一時長，并確定統計出的所述第二預設數目個分片在跨網絡非本地節點上分別被完成處理的時長的平均值為第二時長。

這樣，可以使確定出的第一時長和第二時長更準確。

可選的，所述根據每個節點當前分片的數目、每個節點當前分片的標識、所述第一時長和所述第二時長，確定在負載均衡時，每個節點處理的分片的指示信息，其中，所述指示信息用于指示來自于各節點的分片，包括：

根據每個節點當前分片的數目、所述第一時長和所述第二時長，確定在負載均衡時，每個節點處理的分片中來自于各節點的分片的數目；

根據每個節點處理的分片中來自于各節點的分片的數目和每個節點當前分片的標識，確定每個節點處理的分片的指示信息。

可選的，所述指示信息包括：

來自于各個節點的分片中的起始分片標識和結束分片標識；或者，