[發明專利]一種數據分片方法、相關設備及計算機存儲介質

有效

• 申請號: 201810824276.X
• 申請日: 2018-07-24
• 公開（公告）號: CN110851525B
• 公開（公告）日: 2022-08-26
• 發明（設計）人: 畢杰山;鐘延輝
• 申請（專利權）人: 華為云計算技術有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/22
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郝傳鑫;熊永強

本發明實施例提供了一種數據分片方法及相關設備，該方法通過配置對用戶數據中關鍵字進行截取的截取方式，根據所述截取方式對獲取的用戶數據中的關鍵字進行截取，從而得到目標字段，然后根據哈希算法確定所述目標字段的目標特征值；然后根據所述目標字段的目標特征值，向所述目標特征值對應的存儲節點發送所述用戶數據，其中，不同的存儲節點對應不同的特征值范圍，所述目標特征值屬于其中一個特征值范圍。通過實施該方法，能夠在無schema的數據庫系統中，既能夠使數據均勻的分配到各存儲節點中，同時也可以將目標特征值相鄰的用戶數據存儲在相同或者相鄰的存儲節點中。

技術領域

本發明涉及數據存儲技術領域，尤其涉及一種數據分片方法、相關設備及計算機存儲介質。

背景技術

傳統的集中式存儲系統采用集中的存儲服務器存放所有的數據，整個存儲系統的所有業務均在存儲服務器中進行，這樣不僅會影響對數據的處理速度，同時也會存在單點故障的問題。分布式存儲是將數據分散存儲在多個獨立的存儲節點中，分布式存儲不僅可以利用多個存儲節點分擔存儲負荷，還能提高系統的可靠性、可擴展性以及存取效率。

分布式存儲系統中，可以采用基于哈希(hash)算法或者基于范圍(range)的方法對數據進行分片，以確定將數據存儲到分布式存儲系統中的哪個存儲節點。基于哈希算法的數據分片方法能夠將數據均勻的分配到不同的存儲節點中，但是會打亂數據按關鍵字(key)的字典順序排序的結果，導致數據不能按key的字典順序分配到對應的節點中，從而影響按順序讀取數據時的性能，基于范圍的數據分片方法可以使數據按key的字典順序存放到不同的存儲節點，但是會導致數據分布不均衡。

發明內容

本申請實施例公開了一種數據分片方法，通過配置對用戶數據中關鍵字的處理方式，并結合hash分片以及range分片的方法，從而確定用戶數據在分布式存儲節點中的存儲位置。

第一方面，本申請實施例提供一種數據分片方法，包括：

獲取用戶數據，其中，所述用戶數據包括關鍵字；

對所述關鍵字進行截取，從而得到目標字段；

根據哈希算法確定所述目標字段的目標特征值；

根據所述目標字段的目標特征值，向所述目標特征值對應的存儲節點發送所述用戶數據，其中，不同的存儲節點對應不同的特征值范圍，所述目標特征值屬于其中一個特征值范圍。

在一可能的實施例中，對所述關鍵字進行截取，從而得到目標字段，包括：獲取預設偏移量；根據所述預設偏移量對所述關鍵字進行截取，從而得到所述目標字段。

在一可能的實施例中，所述預設偏移量包括第一預設偏移量和第二預設偏移量，其中，所述第一預設偏移量用于截取第一目標字段，所述第二預設偏移量用于截取第二目標字段，所述目標字段包括所述第一目標字段和所述第二目標字段。

在一可能的實施例中，所述關鍵字包括分隔符，對所述關鍵字進行截取，從而得到目標字段，包括：根據所述分隔符對所述關鍵字進行截取，從而得到所述目標字段。

在一可能的實施例中，所述分隔符包括第一組分隔符和第二組分割符，其中，所述第一組分隔符用于截取第一目標字段，所述第二組分隔符用于截取第二目標字段，所述目標字段包括所述第一目標字段和所述第二目標字段。

在一可能的實施例中，用于存儲所述用戶數據的數據庫為無schema定義的數據庫，其中，無schema定義的數據庫分布存儲在多個存儲節點中。

在一可能的實施例中，所述根據所述目標字段的目標特征值，向所述目標特征值對應的存儲節點發送所述用戶數據，包括：將所述目標特征值與所述關鍵字組合得到新關鍵字，根據所述新關鍵字，向所述目標特征值對應的存儲節點發送所述用戶數據。

第二方面，本申請實施例提供一種數據分片裝置，包括：