[發(fā)明專利]數(shù)據(jù)庫數(shù)據(jù)分片存儲方法和裝置、數(shù)據(jù)查詢方法和裝置

有效

• 申請?zhí)枺?/td>: 201510428470.2
• 申請日: 2015-07-20
• 公開（公告）號: CN105045877B
• 公開（公告）日: 2018-10-12
• 發(fā)明（設(shè)計）人: 吳利斌;劉少東;黃茂彪
• 申請（專利權(quán)）人: 深信服科技股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F11/14
• 代理公司: 深圳市世紀(jì)恒程知識產(chǎn)權(quán)代理事務(wù)所 44287
• 代理人: 胡海國

本發(fā)明涉及一種數(shù)據(jù)庫數(shù)據(jù)分片存儲方法，包括以下步驟：生成數(shù)據(jù)庫主機中存儲的各個數(shù)據(jù)表對應(yīng)的多個子表，其中，每一數(shù)據(jù)表對應(yīng)的所有子表的數(shù)據(jù)覆蓋對應(yīng)的數(shù)據(jù)表，且各子表之間的數(shù)據(jù)不重疊；將數(shù)據(jù)庫主機中存儲的各個數(shù)據(jù)表對應(yīng)的多個子表存儲到多個數(shù)據(jù)庫備機上，使得數(shù)據(jù)庫主機中存儲的各個數(shù)據(jù)表中存在對應(yīng)的子表被分配到多個數(shù)據(jù)庫備機上的數(shù)據(jù)表；維護(hù)數(shù)據(jù)庫主機中的各數(shù)據(jù)表的子表在數(shù)據(jù)庫備機上的分布信息。上述方法對于讀數(shù)據(jù)請求的響應(yīng)速度。此外，還提供一種數(shù)據(jù)庫數(shù)據(jù)分片存儲裝置，以及提供一種基于數(shù)據(jù)分片存儲的數(shù)據(jù)庫數(shù)據(jù)查詢方法和裝置。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)庫技術(shù)領(lǐng)域，特別是涉及一種數(shù)據(jù)庫數(shù)據(jù)分片存儲方法和裝置，以及涉及一種基于數(shù)據(jù)分片存儲的數(shù)據(jù)庫數(shù)據(jù)查詢方法和裝置。

背景技術(shù)

近年來，隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，互聯(lián)網(wǎng)應(yīng)用越來越普及。隨著互聯(lián)網(wǎng)應(yīng)用所擁有的客戶數(shù)量的增加，互聯(lián)網(wǎng)應(yīng)用積累的數(shù)據(jù)量也越來越巨大，而且由于產(chǎn)品之間競爭激烈，用戶體驗對于互聯(lián)網(wǎng)應(yīng)用至關(guān)重要，這些針對互聯(lián)網(wǎng)應(yīng)用對于數(shù)據(jù)查詢的響應(yīng)速度以及并發(fā)處理能力提出了更高的要求。

為了適應(yīng)用戶需求以及在互聯(lián)網(wǎng)競爭中取得優(yōu)勢，互聯(lián)網(wǎng)應(yīng)用提供商致力于提高數(shù)據(jù)查詢的響應(yīng)速度以及并發(fā)處理能力。傳統(tǒng)的方案中，一般采用加強數(shù)據(jù)庫服務(wù)器的硬件配置的措施，以提高數(shù)據(jù)庫處理服務(wù)器的處理性能，這種提升數(shù)據(jù)庫處理服務(wù)器的處理性能的方式稱為縱向擴展；還是一種方式，稱為橫向擴展，即是，增加數(shù)據(jù)庫服務(wù)器的數(shù)量，將一個數(shù)據(jù)庫服務(wù)器中的數(shù)據(jù)全量拷貝到其它的數(shù)據(jù)庫服務(wù)器，多個數(shù)據(jù)庫服務(wù)器共同提供數(shù)據(jù)讀寫服務(wù)。

上述的縱向擴展方式和橫向擴展方式，雖然可以減輕單個數(shù)據(jù)庫服務(wù)器的數(shù)據(jù)查詢壓力，提高對多個數(shù)據(jù)查詢請求的并發(fā)處理能力，可以減少用戶等待服務(wù)器處理其它用戶的數(shù)據(jù)查詢請求的時間，從而一定程度上可以提高數(shù)據(jù)查詢的整體響應(yīng)速度。但是，在數(shù)據(jù)查詢請求較少的情況下，上述的縱向擴展方式和橫向擴展方式對于用戶的數(shù)據(jù)查詢請求的響應(yīng)速度的提高，幾乎沒有貢獻(xiàn)。一個數(shù)據(jù)查詢請求至少會涉及到一張表，對于一個數(shù)據(jù)查詢請求，數(shù)據(jù)庫服務(wù)器有可能需要在對應(yīng)的數(shù)據(jù)表中遍歷整張表，從而可能需要較長的遍歷時間。

尤其是當(dāng)一個數(shù)據(jù)表中的數(shù)據(jù)量巨大時，查詢該整個數(shù)據(jù)表可能需要花費用戶不希望等待的時間。

發(fā)明內(nèi)容

基于此，有必要針對上述查詢數(shù)據(jù)時有可能需要遍歷整張數(shù)據(jù)表從而延長響應(yīng)速度的問題，提供一種數(shù)據(jù)庫數(shù)據(jù)分片存儲方法和裝置。

此外，還有必要針對上述查詢數(shù)據(jù)時有可能需要遍歷整張數(shù)據(jù)表從而延長響應(yīng)速度的問題，提供一種基于數(shù)據(jù)分片存儲的數(shù)據(jù)庫數(shù)據(jù)查詢方法和裝置。

一種數(shù)據(jù)庫數(shù)據(jù)分片存儲方法，包括以下步驟：

生成數(shù)據(jù)庫主機中存儲的各個數(shù)據(jù)表對應(yīng)的多個子表，其中，每一數(shù)據(jù)表對應(yīng)的所有子表的數(shù)據(jù)覆蓋對應(yīng)的數(shù)據(jù)表，且各子表之間的數(shù)據(jù)不重疊；

將數(shù)據(jù)庫主機中存儲的各個數(shù)據(jù)表對應(yīng)的多個子表存儲到多個數(shù)據(jù)庫備機上，使得數(shù)據(jù)庫主機中存儲的各個數(shù)據(jù)表中存在對應(yīng)的子表被分配到多個數(shù)據(jù)庫備機上的數(shù)據(jù)表；

維護(hù)數(shù)據(jù)庫主機中的各數(shù)據(jù)表的子表在數(shù)據(jù)庫備機上的分布信息。

在其中一個實施例中，所述數(shù)據(jù)庫主機中存儲完整的數(shù)據(jù)庫。

在其中一個實施例中，數(shù)據(jù)表的子表在數(shù)據(jù)庫備機上的分布信息包括存儲了數(shù)據(jù)表對應(yīng)的子表的數(shù)據(jù)庫備機的標(biāo)識，以及數(shù)據(jù)庫備機上存儲的數(shù)據(jù)表子表的主鍵值范圍。

在其中一個實施例中，同一個子表被存儲到多個不同的數(shù)據(jù)庫備機上。

在其中一個實施例中，還包括每間隔預(yù)設(shè)時長在數(shù)據(jù)庫備機上進(jìn)行負(fù)載均衡處理的過程，所述在數(shù)據(jù)庫備機上進(jìn)行負(fù)載均衡處理的過程包括以下步驟：

獲取數(shù)據(jù)庫備機中數(shù)據(jù)存儲量相對較小的數(shù)據(jù)庫備機，