[發明專利]分布式存儲系統中關鍵字的處理方法、裝置及系統

在審

• 申請號: 201610730918.0
• 申請日: 2016-08-26
• 公開（公告）號: CN107786595A
• 公開（公告）日: 2018-03-09
• 發明（設計）人: 余汶龍
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 北京匯思誠業知識產權代理有限公司11444
• 代理人: 王剛,龔敏

【技術領域】

本方案涉及數據庫技術領域，尤其涉及一種分布式存儲系統中關鍵字的處理方法、裝置及系統。

【背景技術】

在傳統的基于關鍵字-數值(Key-Value)的分布式存儲系統中，客戶端請求對某關鍵字對應的數值執行讀/寫操作時，會根據該關鍵字計算出哈希值(Hash)，然后由該哈希值對應的服務器執行數值的讀操作或者寫操作。

在實現本方案過程中，方案人發現現有技術中至少存在如下問題：

請參考圖1，其為現有技術中基于關鍵字-數值的分布式存儲系統的示例圖，如圖1所示，在實際應用過程中，在高峰時間段，大量的客戶端會發起針對同一個關鍵字的讀數據請求，例如，針對某應用的某個促銷商品、熱點新聞或者熱點評論等，這樣，根據該關鍵字的哈希值，這些客戶端發送的讀數據請求都會落到同一個服務器上，導致該服務器的負載會嚴重加劇，例如，圖1中的服務器1(接收到了大量客戶端的請求)。而且，即使在分布式存儲系統中增加服務器也沒有作用，因為同一個關鍵字的哈希值相同，因此針對同一個關鍵字的讀數據請求還是會都落到該新增加的服務器上。因此，這樣的服務器成為系統瓶頸，可以稱為“讀熱點問題”。

【發明內容】

有鑒于此，本方案實施例提供了一種分布式存儲系統中關鍵字的處理方法、裝置及系統，用以解決現有技術中基于關鍵字-數值的分布式存儲系統中的讀熱點問題。

第一方面，本方案實施例提供一種分布式存儲系統中關鍵字的處理方法，執行在服務器上，包括：

接收客戶端發送的讀數據請求，所述讀數據請求中攜帶關鍵字；

讀取與所述關鍵字對應的數值；

響應于識別出所述關鍵字為熱點關鍵字，向所述客戶端發送與所述關鍵字對應的數值和用于指示所述關鍵字是熱點關鍵字的信息。

如上所述的方面和任一可能的實現方式，進一步提供一種實現方式，用于指示所述關鍵字是熱點關鍵字的信息用于指示所述客戶端將所述關鍵字和與所述關鍵字對應的數值存儲在本地。

如上所述的方面和任一可能的實現方式，進一步提供一種實現方式，響應于識別出所述關鍵字為熱點關鍵字，向所述客戶端發送與所述關鍵字對應的數值和用于指示所述關鍵字是熱點關鍵字的信息之前，還包括：

判斷所述關鍵字是否屬于預先生成的熱點列表，所述熱點列表用于存儲所述服務器預先識別出的熱點關鍵字；

若判斷出所述關鍵字屬于所述熱點列表，識別出所述關鍵字是熱點關鍵字。

如上所述的方面和任一可能的實現方式，進一步提供一種實現方式，判斷所述關鍵字是否屬于預先生成的熱點列表之前，還包括：

對于接收到的各其他讀數據請求，獲得每個其他讀數據請求中攜帶的關鍵字的哈希值，并根據所述哈希值，將每個其他讀數據請求中攜帶的關鍵字命中到所述哈希值對應的集合；

在各集合中確定熱點集合；

在所述熱點集合中找到熱點關鍵字，并將所述熱點關鍵字添加到所述熱點列表。

如上所述的方面和任一可能的實現方式，進一步提供一種實現方式，所述在各集合中確定熱點集合，包括：

當接收到的其他讀數據請求的數量達到預設的采樣次數閾值時，獲得各集合中關鍵字的命中次數的標準差和各集合中關鍵字的命中次數的平均值，以及，確定關鍵字的命中次數最大的集合；

若判斷出各集合中關鍵字的命中次數的標準差的累加和與所述平均值的比值大于預設系數，且判斷出關鍵字的命中次數最大的集合的每秒查詢率大于或者等于預設第一查詢率閾值，確定所述關鍵字的命中次數最大的集合為熱點集合。

如上所述的方面和任一可能的實現方式，進一步提供一種實現方式，所述在所述熱點集合中找到熱點關鍵字，包括：

實時統計所述熱點集合中每個關鍵字的訪問次數和各關鍵字的總訪問次數，直到所述熱點集合中各關鍵字的總訪問次數達到統計次數閾值時，停止統計并獲得訪問次數最大的至少一個關鍵字；

將所述訪問次數最大的至少一個關鍵字中每個關鍵字的每秒查詢率分別與預設第二查詢率閾值進行比較，并將所述訪問次數最大的至少一個關鍵字中每秒查詢率大于或者等于預設第二查詢率閾值的關鍵字作為熱點關鍵字。

如上所述的方面和任一可能的實現方式，進一步提供一種實現方式，還包括：若判斷出所述關鍵字不屬于所述熱點列表，識別出所述關鍵字不是熱點關鍵字。

如上所述的方面和任一可能的實現方式，進一步提供一種實現方式，還包括：

響應于識別出所述關鍵字不是熱點關鍵字，向所述客戶端發送與所述關鍵字對應的數值，以便于所述客戶端對與所述關鍵字對應的數值進行存儲。