[發(fā)明專利]數(shù)據(jù)存儲(chǔ)方法和系統(tǒng)、數(shù)據(jù)查詢方法和系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201711476367.0
• 申請(qǐng)日: 2017-12-29
• 公開（公告）號(hào): CN108334551A
• 公開（公告）日: 2018-07-27
• 發(fā)明（設(shè)計(jì)）人: 劉德海;田妃佐;陳睿
• 申請(qǐng)（專利權(quán)）人: 谷米科技有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 廣州華進(jìn)聯(lián)合專利商標(biāo)代理有限公司 44224
• 代理人: 余永文

本發(fā)明涉及數(shù)據(jù)庫(kù)技術(shù)領(lǐng)域，特別是涉及一種數(shù)據(jù)存儲(chǔ)方法和系統(tǒng)。數(shù)據(jù)存儲(chǔ)方法包括以下步驟：獲取待存儲(chǔ)數(shù)據(jù)以及所述待存儲(chǔ)數(shù)據(jù)的第一特征標(biāo)識(shí)碼，計(jì)算所述第一特征標(biāo)識(shí)碼的第一哈希值；根據(jù)所述第一哈希值從虛擬數(shù)據(jù)庫(kù)節(jié)點(diǎn)中確定第一目標(biāo)虛擬數(shù)據(jù)庫(kù)節(jié)點(diǎn)，其中，所述虛擬數(shù)據(jù)庫(kù)節(jié)點(diǎn)是與各物理數(shù)據(jù)庫(kù)具有映射對(duì)應(yīng)關(guān)系的虛擬節(jié)點(diǎn)；根據(jù)所述第一目標(biāo)虛擬數(shù)據(jù)庫(kù)節(jié)點(diǎn)確定對(duì)應(yīng)的目標(biāo)物理數(shù)據(jù)庫(kù)；根據(jù)所述映射對(duì)應(yīng)關(guān)系將所述待存儲(chǔ)數(shù)據(jù)傳輸至所述目標(biāo)物理數(shù)據(jù)庫(kù)中進(jìn)行存儲(chǔ)。上述數(shù)據(jù)存儲(chǔ)方法將待存儲(chǔ)數(shù)據(jù)劃分到不同的物理數(shù)據(jù)庫(kù)中存儲(chǔ)，使得數(shù)據(jù)庫(kù)的擴(kuò)展能力、存儲(chǔ)能力以及數(shù)據(jù)處理能力都得到提高。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)庫(kù)技術(shù)領(lǐng)域，特別是涉及一種數(shù)據(jù)存儲(chǔ)方法和系統(tǒng)、數(shù)據(jù)查詢方法和系統(tǒng)。

背景技術(shù)

隨著時(shí)間和業(yè)務(wù)的發(fā)展，業(yè)務(wù)數(shù)據(jù)不斷增加，數(shù)據(jù)庫(kù)中數(shù)據(jù)量隨之增大。傳統(tǒng)技術(shù)中，對(duì)大數(shù)據(jù)的存儲(chǔ)主要依靠分表來(lái)實(shí)現(xiàn)，但是對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行分表儲(chǔ)存在后期會(huì)造成大量的表需要管理和維護(hù)，進(jìn)行數(shù)據(jù)查詢時(shí)需要跨表查詢，加大查詢數(shù)據(jù)的復(fù)雜度。而且，隨著數(shù)據(jù)量的不斷增加，數(shù)據(jù)庫(kù)中數(shù)據(jù)量隨之增大，而數(shù)據(jù)庫(kù)承載的數(shù)據(jù)量以及對(duì)數(shù)據(jù)的處理能力有限，海量數(shù)據(jù)的存儲(chǔ)會(huì)導(dǎo)致在數(shù)據(jù)庫(kù)中進(jìn)行數(shù)據(jù)操作的開銷變大，影響數(shù)據(jù)庫(kù)對(duì)數(shù)據(jù)的處理能力，從而導(dǎo)致業(yè)務(wù)系統(tǒng)性能大大下降。

發(fā)明內(nèi)容

基于此，有必要針對(duì)海量數(shù)據(jù)的存儲(chǔ)導(dǎo)致數(shù)據(jù)庫(kù)處理能力大大下降的問題，提供一種數(shù)據(jù)存儲(chǔ)方法和系統(tǒng)、數(shù)據(jù)查詢方法和系統(tǒng)。

一種數(shù)據(jù)存儲(chǔ)方法，包括以下步驟：

獲取待存儲(chǔ)數(shù)據(jù)以及所述待存儲(chǔ)數(shù)據(jù)的第一特征標(biāo)識(shí)碼，計(jì)算所述第一特征標(biāo)識(shí)碼的第一哈希值；

根據(jù)所述第一哈希值從虛擬數(shù)據(jù)庫(kù)節(jié)點(diǎn)中確定第一目標(biāo)虛擬數(shù)據(jù)庫(kù)節(jié)點(diǎn)，其中，所述虛擬數(shù)據(jù)庫(kù)節(jié)點(diǎn)是與各物理數(shù)據(jù)庫(kù)具有映射對(duì)應(yīng)關(guān)系的虛擬節(jié)點(diǎn)；

根據(jù)所述第一目標(biāo)虛擬數(shù)據(jù)庫(kù)節(jié)點(diǎn)確定對(duì)應(yīng)的目標(biāo)物理數(shù)據(jù)庫(kù)；

根據(jù)所述映射對(duì)應(yīng)關(guān)系將所述待存儲(chǔ)數(shù)據(jù)傳輸至所述目標(biāo)物理數(shù)據(jù)庫(kù)中進(jìn)行存儲(chǔ)。

上述數(shù)據(jù)存儲(chǔ)方法，通過(guò)獲取待存儲(chǔ)數(shù)據(jù)的特征標(biāo)識(shí)碼的哈希值，從而確定目標(biāo)虛擬數(shù)據(jù)庫(kù)節(jié)點(diǎn)，根據(jù)目標(biāo)虛擬數(shù)據(jù)庫(kù)節(jié)點(diǎn)與物理數(shù)據(jù)庫(kù)的映射關(guān)系，將待存儲(chǔ)數(shù)據(jù)劃分到不同的物理數(shù)據(jù)庫(kù)中存儲(chǔ)，使得數(shù)據(jù)庫(kù)的擴(kuò)展能力、存儲(chǔ)能力以及數(shù)據(jù)處理能力都得到提高，從而提高業(yè)務(wù)系統(tǒng)性能。

在其中一個(gè)實(shí)施例中，所述根據(jù)所述映射對(duì)應(yīng)關(guān)系將所述待存儲(chǔ)數(shù)據(jù)傳輸至所述目標(biāo)物理數(shù)據(jù)庫(kù)中進(jìn)行存儲(chǔ)的步驟之后，包括以下步驟：

獲取所述待存儲(chǔ)數(shù)據(jù)的分區(qū)標(biāo)識(shí)碼；

根據(jù)所述分區(qū)標(biāo)識(shí)碼確定所述目標(biāo)物理數(shù)據(jù)庫(kù)中的目標(biāo)分區(qū)；

將所述待存儲(chǔ)數(shù)據(jù)傳輸至所述目標(biāo)分區(qū)中進(jìn)行存儲(chǔ)。

在其中一個(gè)實(shí)施例中，所述根據(jù)所述映射對(duì)應(yīng)關(guān)系將所述待存儲(chǔ)數(shù)據(jù)傳輸至所述目標(biāo)物理數(shù)據(jù)庫(kù)中進(jìn)行存儲(chǔ)的步驟，包括以下步驟：

通過(guò)傳輸控制協(xié)議長(zhǎng)連接方式將所述待存儲(chǔ)數(shù)據(jù)傳輸至所述目標(biāo)物理數(shù)據(jù)庫(kù)中進(jìn)行存儲(chǔ)。

在其中一個(gè)實(shí)施例中，所述獲取待存儲(chǔ)數(shù)據(jù)以及所述待存儲(chǔ)數(shù)據(jù)的第一特征標(biāo)識(shí)碼的步驟之前，還包括以下步驟：

獲取各所述物理數(shù)據(jù)庫(kù)的數(shù)據(jù)量以及壓力值；

根據(jù)各所述物理數(shù)據(jù)庫(kù)的數(shù)據(jù)量以及壓力值建立虛擬數(shù)據(jù)庫(kù)節(jié)點(diǎn)與各所述物理數(shù)據(jù)庫(kù)的映射對(duì)應(yīng)關(guān)系。

一種數(shù)據(jù)查詢方法，用于對(duì)上述的數(shù)據(jù)存儲(chǔ)方法存儲(chǔ)的數(shù)據(jù)進(jìn)行查詢包括以下步驟：

獲取查詢請(qǐng)求，根據(jù)所述查詢請(qǐng)求獲取待查詢數(shù)據(jù)的第二特征標(biāo)識(shí)碼，并計(jì)算所述第二特征標(biāo)識(shí)碼的第二哈希值；

根據(jù)所述第二哈希值從所述虛擬數(shù)據(jù)庫(kù)節(jié)點(diǎn)中確定第二目標(biāo)虛擬數(shù)據(jù)庫(kù)節(jié)點(diǎn)；