[發(fā)明專(zhuān)利]數(shù)據(jù)庫(kù)數(shù)據(jù)分片存儲(chǔ)方法和裝置、數(shù)據(jù)查詢(xún)方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201510428470.2
• 申請(qǐng)日: 2015-07-20
• 公開(kāi)（公告）號(hào): CN105045877B
• 公開(kāi)（公告）日: 2018-10-12
• 發(fā)明（設(shè)計(jì)）人: 吳利斌;劉少東;黃茂彪
• 申請(qǐng)（專(zhuān)利權(quán)）人: 深信服科技股份有限公司
• 主分類(lèi)號(hào): G06F17/30
• 分類(lèi)號(hào): G06F17/30;G06F11/14
• 代理公司: 深圳市世紀(jì)恒程知識(shí)產(chǎn)權(quán)代理事務(wù)所 44287
• 代理人: 胡海國(guó)

本發(fā)明涉及一種數(shù)據(jù)庫(kù)數(shù)據(jù)分片存儲(chǔ)方法，包括以下步驟：生成數(shù)據(jù)庫(kù)主機(jī)中存儲(chǔ)的各個(gè)數(shù)據(jù)表對(duì)應(yīng)的多個(gè)子表，其中，每一數(shù)據(jù)表對(duì)應(yīng)的所有子表的數(shù)據(jù)覆蓋對(duì)應(yīng)的數(shù)據(jù)表，且各子表之間的數(shù)據(jù)不重疊；將數(shù)據(jù)庫(kù)主機(jī)中存儲(chǔ)的各個(gè)數(shù)據(jù)表對(duì)應(yīng)的多個(gè)子表存儲(chǔ)到多個(gè)數(shù)據(jù)庫(kù)備機(jī)上，使得數(shù)據(jù)庫(kù)主機(jī)中存儲(chǔ)的各個(gè)數(shù)據(jù)表中存在對(duì)應(yīng)的子表被分配到多個(gè)數(shù)據(jù)庫(kù)備機(jī)上的數(shù)據(jù)表；維護(hù)數(shù)據(jù)庫(kù)主機(jī)中的各數(shù)據(jù)表的子表在數(shù)據(jù)庫(kù)備機(jī)上的分布信息。上述方法對(duì)于讀數(shù)據(jù)請(qǐng)求的響應(yīng)速度。此外，還提供一種數(shù)據(jù)庫(kù)數(shù)據(jù)分片存儲(chǔ)裝置，以及提供一種基于數(shù)據(jù)分片存儲(chǔ)的數(shù)據(jù)庫(kù)數(shù)據(jù)查詢(xún)方法和裝置。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)庫(kù)技術(shù)領(lǐng)域，特別是涉及一種數(shù)據(jù)庫(kù)數(shù)據(jù)分片存儲(chǔ)方法和裝置，以及涉及一種基于數(shù)據(jù)分片存儲(chǔ)的數(shù)據(jù)庫(kù)數(shù)據(jù)查詢(xún)方法和裝置。

背景技術(shù)

近年來(lái)，隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，互聯(lián)網(wǎng)應(yīng)用越來(lái)越普及。隨著互聯(lián)網(wǎng)應(yīng)用所擁有的客戶數(shù)量的增加，互聯(lián)網(wǎng)應(yīng)用積累的數(shù)據(jù)量也越來(lái)越巨大，而且由于產(chǎn)品之間競(jìng)爭(zhēng)激烈，用戶體驗(yàn)對(duì)于互聯(lián)網(wǎng)應(yīng)用至關(guān)重要，這些針對(duì)互聯(lián)網(wǎng)應(yīng)用對(duì)于數(shù)據(jù)查詢(xún)的響應(yīng)速度以及并發(fā)處理能力提出了更高的要求。

為了適應(yīng)用戶需求以及在互聯(lián)網(wǎng)競(jìng)爭(zhēng)中取得優(yōu)勢(shì)，互聯(lián)網(wǎng)應(yīng)用提供商致力于提高數(shù)據(jù)查詢(xún)的響應(yīng)速度以及并發(fā)處理能力。傳統(tǒng)的方案中，一般采用加強(qiáng)數(shù)據(jù)庫(kù)服務(wù)器的硬件配置的措施，以提高數(shù)據(jù)庫(kù)處理服務(wù)器的處理性能，這種提升數(shù)據(jù)庫(kù)處理服務(wù)器的處理性能的方式稱(chēng)為縱向擴(kuò)展；還是一種方式，稱(chēng)為橫向擴(kuò)展，即是，增加數(shù)據(jù)庫(kù)服務(wù)器的數(shù)量，將一個(gè)數(shù)據(jù)庫(kù)服務(wù)器中的數(shù)據(jù)全量拷貝到其它的數(shù)據(jù)庫(kù)服務(wù)器，多個(gè)數(shù)據(jù)庫(kù)服務(wù)器共同提供數(shù)據(jù)讀寫(xiě)服務(wù)。

上述的縱向擴(kuò)展方式和橫向擴(kuò)展方式，雖然可以減輕單個(gè)數(shù)據(jù)庫(kù)服務(wù)器的數(shù)據(jù)查詢(xún)壓力，提高對(duì)多個(gè)數(shù)據(jù)查詢(xún)請(qǐng)求的并發(fā)處理能力，可以減少用戶等待服務(wù)器處理其它用戶的數(shù)據(jù)查詢(xún)請(qǐng)求的時(shí)間，從而一定程度上可以提高數(shù)據(jù)查詢(xún)的整體響應(yīng)速度。但是，在數(shù)據(jù)查詢(xún)請(qǐng)求較少的情況下，上述的縱向擴(kuò)展方式和橫向擴(kuò)展方式對(duì)于用戶的數(shù)據(jù)查詢(xún)請(qǐng)求的響應(yīng)速度的提高，幾乎沒(méi)有貢獻(xiàn)。一個(gè)數(shù)據(jù)查詢(xún)請(qǐng)求至少會(huì)涉及到一張表，對(duì)于一個(gè)數(shù)據(jù)查詢(xún)請(qǐng)求，數(shù)據(jù)庫(kù)服務(wù)器有可能需要在對(duì)應(yīng)的數(shù)據(jù)表中遍歷整張表，從而可能需要較長(zhǎng)的遍歷時(shí)間。

尤其是當(dāng)一個(gè)數(shù)據(jù)表中的數(shù)據(jù)量巨大時(shí)，查詢(xún)?cè)撜麄€(gè)數(shù)據(jù)表可能需要花費(fèi)用戶不希望等待的時(shí)間。

發(fā)明內(nèi)容

基于此，有必要針對(duì)上述查詢(xún)數(shù)據(jù)時(shí)有可能需要遍歷整張數(shù)據(jù)表從而延長(zhǎng)響應(yīng)速度的問(wèn)題，提供一種數(shù)據(jù)庫(kù)數(shù)據(jù)分片存儲(chǔ)方法和裝置。

此外，還有必要針對(duì)上述查詢(xún)數(shù)據(jù)時(shí)有可能需要遍歷整張數(shù)據(jù)表從而延長(zhǎng)響應(yīng)速度的問(wèn)題，提供一種基于數(shù)據(jù)分片存儲(chǔ)的數(shù)據(jù)庫(kù)數(shù)據(jù)查詢(xún)方法和裝置。

一種數(shù)據(jù)庫(kù)數(shù)據(jù)分片存儲(chǔ)方法，包括以下步驟：

生成數(shù)據(jù)庫(kù)主機(jī)中存儲(chǔ)的各個(gè)數(shù)據(jù)表對(duì)應(yīng)的多個(gè)子表，其中，每一數(shù)據(jù)表對(duì)應(yīng)的所有子表的數(shù)據(jù)覆蓋對(duì)應(yīng)的數(shù)據(jù)表，且各子表之間的數(shù)據(jù)不重疊；

將數(shù)據(jù)庫(kù)主機(jī)中存儲(chǔ)的各個(gè)數(shù)據(jù)表對(duì)應(yīng)的多個(gè)子表存儲(chǔ)到多個(gè)數(shù)據(jù)庫(kù)備機(jī)上，使得數(shù)據(jù)庫(kù)主機(jī)中存儲(chǔ)的各個(gè)數(shù)據(jù)表中存在對(duì)應(yīng)的子表被分配到多個(gè)數(shù)據(jù)庫(kù)備機(jī)上的數(shù)據(jù)表；

維護(hù)數(shù)據(jù)庫(kù)主機(jī)中的各數(shù)據(jù)表的子表在數(shù)據(jù)庫(kù)備機(jī)上的分布信息。

在其中一個(gè)實(shí)施例中，所述數(shù)據(jù)庫(kù)主機(jī)中存儲(chǔ)完整的數(shù)據(jù)庫(kù)。

在其中一個(gè)實(shí)施例中，數(shù)據(jù)表的子表在數(shù)據(jù)庫(kù)備機(jī)上的分布信息包括存儲(chǔ)了數(shù)據(jù)表對(duì)應(yīng)的子表的數(shù)據(jù)庫(kù)備機(jī)的標(biāo)識(shí)，以及數(shù)據(jù)庫(kù)備機(jī)上存儲(chǔ)的數(shù)據(jù)表子表的主鍵值范圍。

在其中一個(gè)實(shí)施例中，同一個(gè)子表被存儲(chǔ)到多個(gè)不同的數(shù)據(jù)庫(kù)備機(jī)上。

在其中一個(gè)實(shí)施例中，還包括每間隔預(yù)設(shè)時(shí)長(zhǎng)在數(shù)據(jù)庫(kù)備機(jī)上進(jìn)行負(fù)載均衡處理的過(guò)程，所述在數(shù)據(jù)庫(kù)備機(jī)上進(jìn)行負(fù)載均衡處理的過(guò)程包括以下步驟：

獲取數(shù)據(jù)庫(kù)備機(jī)中數(shù)據(jù)存儲(chǔ)量相對(duì)較小的數(shù)據(jù)庫(kù)備機(jī)，