[發明專利]數據庫分片

在審

• 申請號: 201880068665.2
• 申請日: 2018-10-18
• 公開（公告）號: CN111247518A
• 公開（公告）日: 2020-06-05
• 發明（設計）人: C·N·小瓦倫;M·里安
• 申請（專利權）人: 國際商業機器公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/24
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 酆迅;姚杰

提供了用于在分片數據庫的分片表中存儲記錄和從分片數據庫的分片表檢索記錄的計算機實現的方法、計算機程序產品和系統。分片數據庫包括多個數據庫分片。數據庫分片各自被配置為存儲分片表的記錄的子集。數據庫分片還各自與相應的布隆過濾器相關聯。通過生成與多個相應布隆過濾器中的每一個一起使用的要存儲的記錄的分片關鍵字的相應表示，將該記錄插入到分片表中。然后計算多個布隆過濾器中的每一個布隆過濾器的當前值和與該布隆過濾器一起使用的分片關鍵字的相應表示之間的漢明距離，并且基于所計算的漢明距離從那些數據庫分片中選擇用于存儲該記錄的數據庫分片。

背景技術

技術領域

本發明涉及分片數據庫。具體地，本發明涉及用于存儲和檢索分片數據庫的分片表中的記錄的方法、系統和計算機程序產品。

相關技術的描述

數據庫分片是用于將數據庫拆分成稱為數據庫分片的多個較小部分的已知技術。這種技術也可以被稱為水平分割。

通常，當將分片應用于數據庫時，數據庫分片中的每一個被配置為包括與所有其他數據庫分片相同的模式(這可以是針對整個數據庫或針對其某個子集的模式)。換言之，數據庫分片中的每一個包括與其他數據庫分片中的每一個相同的表定義。在應用數據庫分片技術期間，某些表可以被配置為分片表。這意味著那些表的記錄將被分布在數據庫分片之間，使得存儲在每個數據庫分片上的那些表中的記錄(或數據)對于每個數據庫碎片將是不同的。通常基于從分片表的一個或多個字段導出的分片關鍵字的值來確定分片表的記錄在數據庫分片之間的分布。例如，分片關鍵字可以被定義為分片表的ID字段，并且具有落入第一范圍內的ID的記錄可以被存儲在第一數據庫分片上的表中，而具有落入不同的第二范圍內的ID的記錄可以被存儲在第二數據庫分片上的表中。因此，即使數據庫分片可以具有彼此相同的模式，它們也僅包括模式內的任意分片表格的記錄的子集。為了從分片表檢索記錄，首先需要確定哪個數據庫分片存儲感興趣的記錄。這可以例如通過確定分片關鍵字是落入第一范圍還是第二范圍以確定記錄是否應當分別被存儲在第一數據庫分片上還是第二數據庫分片上來實現。

除了分片表格之外，分片數據庫還可以包括復制表，其在每個數據庫分片之間復制。這意味著數據庫碎片中的每一個包括那些復制表的所有記錄。通過將分片數據庫的一些表包括為復制表，可以減少需要在不同數據庫分片之間執行的查找的數量，從而提高分片數據庫的性能。

數據庫分片可以用于提高數據庫的性能。作為示例，在數據庫存儲非常大量的記錄或接收非常大量的查詢的情況下，數據庫分片可以用來創建可以在單獨的計算設備上操作的多個數據庫分片，從而提高數據庫系統存儲大量記錄或回答大量查詢的能力。這是因為其上存儲每個數據庫分片的計算設備可以獨立地處理關于存儲在該數據庫分片中的數據的子集的查詢。

為了最大化從數據庫分片實現的益處，期望分片表格的記錄在每個數據庫分片之間均勻地分布，使得每個數據庫分片所需的存儲要求和計算能力大致平衡。此外，還期望使得附加數據庫分片能夠被動態地添加到分片數據庫以允許滿足計算能力或存儲要求的任何增加。

通常，用于將記錄分配給分片數據庫中的分片表的方法不導致記錄被隨機分布，使得每個數據庫分片所需的存儲要求和計算能力被平衡。例如，基于ID字段是落入第一范圍還是第二范圍而在分片之間分布記錄的方法意味著具有較低ID的那些記錄可能被分組在相同的數據庫碎片上。如果遞增地分配ID，使得較舊的記錄具有較低的ID，則如果較新的記錄被更經常查詢，則這可能導致數據庫分片之間的計算負載的不平衡。

另外，用于將記錄分配給分片數據庫中的分片表的典型方法或者不允許動態地添加附加數據庫分片，或者在添加數據庫分片時導致增加的復雜性，從而導致在從分片數據庫檢索記錄時降低的性能。

發明內容