[發明專利]一種數據的管理方法及裝置

在審

• 申請號: 201911421779.3
• 申請日: 2019-12-31
• 公開（公告）號: CN113127480A
• 公開（公告）日: 2021-07-16
• 發明（設計）人: 徐佳宏;陳華兵
• 申請（專利權）人: 深圳市茁壯網絡股份有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/23
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 常忠良

本申請提供了一種數據的管理方法及裝置，所述方法包括：在請求寫入數據或讀取數據時，獲取所述數據的標識值；確定所述標識值對應的數據庫組；其中，每個所述數據庫組用于存儲所述標識值在所述數據庫組對應的預設范圍內的數據；計算得到所述標識值除以所述數據庫組對應的預設目標值的余數；從所述數據庫組中確定出與所述余數存在預設對應關系的數據庫；在所述數據庫中響應所述數據的寫操作或讀操作。在基于存儲范圍確定相應的數據庫組后，通過取模的方式保證了數據均勻落到數據庫組的多個數據庫中，有效地避免了熱點問題。并且，在擴容時可直接擴充另一個數據庫組，不影響其他數據庫組的數據庫和存儲表的數量，保證了先前存儲的數據的正常訪問。

技術領域

本申請涉及數據管理技術領域，特別涉及一種數據的管理方法及裝置。

背景技術

隨著業務數據量的增加，數據庫中數據的存儲量和訪問量也不斷的增加。現有技術通常會通過分表的方式，將數據庫中的一個存儲表分為多個存儲表，降低單個存儲表的數據量，從而減少數據查詢時間，提高數據的訪問效率。以及通過分庫的方式，將數據庫分為多個數據庫，從而實現并發訪問。

現有技術中，基于分表和分庫的存儲方式通常有兩種方式。一種是基于哈希取模的方式，通過數據的標識值除以數據庫或存儲表的總數量的余數，與數據庫或存儲表的對應關系，確定數據的存儲位置。但是這種方式在增加存儲表或數據庫進行擴容時，數據庫或存儲表的總數量將會增加，那么對于同一標識值，計算得到余數也就會發生變化，從而將會造成確定出的數據庫或存儲表并非先前存儲該數據的數據庫或存儲表，導致無法訪問到先前存儲的數據。

另一種則是基于存儲范圍的方式，預先為每個存儲表或數據庫，設定相應的存儲范圍，以分別存儲標識值在對應的存儲范圍內的數據。但是，在一段時間內的數據的標識值，大多屬于同一存儲范圍內，所以會造成數據的存儲或訪問主要集中在某個存儲表或數據庫上，從而出現熱點問題。

所以如何在通過分表和分庫的方式存儲數據時，有效地避免出現熱點問題，又能解決擴容后出現的無法訪問數據的情況，顯得尤為重要。

發明內容

基于上述現有技術的不足，本申請提供了一種數據的管理方法及裝置，以解決現有通過分表和分庫進行數據存儲時，存在的熱點問題以及在擴容后出現的無法訪問數據的情況，從而造成無法正常進行擴容的問題。

為了實現上述目的，本申請提供了以下技術方案：

本申請第一方面提供了一種數據的管理方法，包括：

在請求寫入數據或讀取數據時，獲取所述數據的標識值；

確定所述標識值對應的數據庫組；其中，每個所述數據庫組用于存儲所述標識值在所述數據庫組對應的預設范圍內的數據；

計算得到所述標識值除以所述數據庫組對應的預設目標值的余數；

從所述數據庫組中確定出與所述余數存在預設對應關系的數據庫；

在所述數據庫中響應所述數據的寫操作或讀操作。

可選地，在上述的方法中，所述在請求寫入數據時，獲取所述數據的標識值，包括：

在請求寫入數據時，生成所述數據對應的唯一標識；

對所述標識進行哈希計算，得到所述數據的標識值；其中，一個數據對應一個標識值；所述標識值為有序的，并且隨著數據寫入的時間不斷遞增的數值。

可選地，在上述的方法中，所述請求讀取數據時，獲取所述數據的標識值，包括：

在請求讀取數據時，從所述請求的目標字段中獲取所述數據對應的標識；

對所述標識進行哈希計算，得到所述數據的標識值。