[發(fā)明專利]分布式數(shù)據(jù)庫(kù)系統(tǒng)和分布式數(shù)據(jù)庫(kù)系統(tǒng)中的數(shù)據(jù)處理方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201611095563.9
• 申請(qǐng)日: 2016-12-01
• 公開(kāi)（公告）號(hào): CN106708968B
• 公開(kāi)（公告）日: 2019-11-26
• 發(fā)明（設(shè)計(jì)）人: 張宗全;張程偉;高波
• 申請(qǐng)（專利權(quán)）人: 成都華為技術(shù)有限公司
• 主分類號(hào): G06F16/27
• 分類號(hào): G06F16/27
• 代理公司: 11329 北京龍雙利達(dá)知識(shí)產(chǎn)權(quán)代理有限公司
• 代理人: 王君;肖鸝<國(guó)際申請(qǐng)>=<國(guó)際公布>=<

本申請(qǐng)?zhí)峁┓植际綌?shù)據(jù)庫(kù)系統(tǒng)和分布式數(shù)據(jù)庫(kù)系統(tǒng)中的數(shù)據(jù)處理方法。該數(shù)據(jù)處理方法包括：數(shù)據(jù)庫(kù)引擎接收插入數(shù)據(jù)請(qǐng)求消息，插入數(shù)據(jù)請(qǐng)求消息攜帶第一數(shù)據(jù)；數(shù)據(jù)庫(kù)引擎確定第一數(shù)據(jù)所屬的目標(biāo)頁(yè)的標(biāo)識(shí)信息；數(shù)據(jù)庫(kù)引擎生成第一重做日志，第一重做日志包括第一數(shù)據(jù)和目標(biāo)頁(yè)的標(biāo)識(shí)信息；數(shù)據(jù)庫(kù)引擎根據(jù)第一重做日志中目標(biāo)頁(yè)的標(biāo)識(shí)信息，確定至少一個(gè)分區(qū)中與目標(biāo)頁(yè)對(duì)應(yīng)的目標(biāo)分區(qū)；數(shù)據(jù)庫(kù)引擎將第一重做日志中的第一數(shù)據(jù)和目標(biāo)頁(yè)的標(biāo)識(shí)信息，存入目標(biāo)分區(qū)中用于存儲(chǔ)目標(biāo)頁(yè)的重做日志的物理地址空間，目標(biāo)分區(qū)為至少一個(gè)存儲(chǔ)節(jié)點(diǎn)中的目標(biāo)存儲(chǔ)節(jié)點(diǎn)所包括的分區(qū)。本申請(qǐng)的分布式數(shù)據(jù)庫(kù)系統(tǒng)和數(shù)據(jù)處理方法使得該分布式數(shù)據(jù)庫(kù)系統(tǒng)可以靈活動(dòng)態(tài)地?cái)U(kuò)容。

技術(shù)領(lǐng)域

本申請(qǐng)涉及存儲(chǔ)領(lǐng)域，尤其涉及分布式數(shù)據(jù)庫(kù)系統(tǒng)和分布式數(shù)據(jù)庫(kù)系統(tǒng)中的數(shù)據(jù)處理方法。

背景技術(shù)

隨著技術(shù)的發(fā)展，將分布式數(shù)據(jù)庫(kù)與存儲(chǔ)技術(shù)融合的需求越來(lái)越大。將分布式數(shù)據(jù)庫(kù)與存儲(chǔ)技術(shù)融合，可以大幅度提升分布式數(shù)據(jù)庫(kù)的性能。

目前，分布式數(shù)據(jù)庫(kù)與存儲(chǔ)技術(shù)融合的方案中，分布式數(shù)據(jù)庫(kù)中與數(shù)據(jù)相關(guān)的內(nèi)容，如重做日志，是直接映射并存儲(chǔ)到存儲(chǔ)節(jié)點(diǎn)上的。這種存儲(chǔ)方式使得存儲(chǔ)節(jié)點(diǎn)不能動(dòng)態(tài)擴(kuò)容。

具體而言，當(dāng)分布式數(shù)據(jù)庫(kù)的容量達(dá)到一定程度，需要擴(kuò)充存儲(chǔ)節(jié)點(diǎn)時(shí)，通常情況下，需要用戶對(duì)分布式數(shù)據(jù)庫(kù)進(jìn)行分庫(kù)，或?qū)Ψ植际綌?shù)據(jù)庫(kù)中的表進(jìn)行分表。這種擴(kuò)容方式，操作繁瑣，靈活性較差。

發(fā)明內(nèi)容

本申請(qǐng)?zhí)峁┮环N分布式數(shù)據(jù)庫(kù)系統(tǒng)和分布式數(shù)據(jù)庫(kù)系統(tǒng)中的數(shù)據(jù)處理方法，使得該分布式數(shù)據(jù)庫(kù)系統(tǒng)可以靈活動(dòng)態(tài)地?cái)U(kuò)容。

第一方面，本申請(qǐng)?zhí)峁┝艘环N分布式數(shù)據(jù)庫(kù)系統(tǒng)中的數(shù)據(jù)處理方法，所述分布式數(shù)據(jù)庫(kù)系統(tǒng)包括數(shù)據(jù)庫(kù)引擎和至少一個(gè)存儲(chǔ)節(jié)點(diǎn)，所述至少一個(gè)存儲(chǔ)節(jié)點(diǎn)中的每個(gè)存儲(chǔ)節(jié)點(diǎn)包括至少一個(gè)分區(qū)，所述數(shù)據(jù)處理方法包括：所述數(shù)據(jù)庫(kù)引擎接收插入數(shù)據(jù)請(qǐng)求消息，所述插入數(shù)據(jù)請(qǐng)求消息攜帶第一數(shù)據(jù)；所述數(shù)據(jù)庫(kù)引擎確定所述第一數(shù)據(jù)所屬的目標(biāo)頁(yè)的標(biāo)識(shí)信息；所述數(shù)據(jù)庫(kù)引擎生成第一重做日志，所述第一重做日志包括所述第一數(shù)據(jù)和所述目標(biāo)頁(yè)的標(biāo)識(shí)信息；所述數(shù)據(jù)庫(kù)引擎根據(jù)所述第一重做日志中所述目標(biāo)頁(yè)的標(biāo)識(shí)信息，確定所述至少一個(gè)分區(qū)中與所述目標(biāo)頁(yè)對(duì)應(yīng)的目標(biāo)分區(qū)；所述數(shù)據(jù)庫(kù)引擎將所述第一重做日志中的所述第一數(shù)據(jù)和所述目標(biāo)頁(yè)的標(biāo)識(shí)信息，存入所述目標(biāo)分區(qū)中用于存儲(chǔ)所述目標(biāo)頁(yè)的重做日志的物理地址空間，所述目標(biāo)分區(qū)為所述至少一個(gè)存儲(chǔ)節(jié)點(diǎn)中的目標(biāo)存儲(chǔ)節(jié)點(diǎn)所包括的分區(qū)。

本申請(qǐng)中的分布式數(shù)據(jù)庫(kù)系統(tǒng)中的數(shù)據(jù)處理方法，將重做日志先映射到存儲(chǔ)系統(tǒng)的存儲(chǔ)分區(qū)上，然后再將重做日志寫入存儲(chǔ)分區(qū)在對(duì)應(yīng)的存儲(chǔ)節(jié)點(diǎn)中包括的物理地址空間，使得該分布式數(shù)據(jù)庫(kù)系統(tǒng)在進(jìn)行擴(kuò)容時(shí)，只需修改存儲(chǔ)分區(qū)與存儲(chǔ)節(jié)點(diǎn)，以及存儲(chǔ)分區(qū)在存儲(chǔ)節(jié)點(diǎn)中包括的物理地址空間的映射關(guān)系即可。這樣，不經(jīng)能夠靈活動(dòng)態(tài)地實(shí)現(xiàn)存儲(chǔ)系統(tǒng)的擴(kuò)容，而且使得擴(kuò)容時(shí)用戶不會(huì)有所感知，提高用戶的體驗(yàn)度。

在一種可能的實(shí)現(xiàn)方式中，所述數(shù)據(jù)處理方法還包括：所述目標(biāo)存儲(chǔ)節(jié)點(diǎn)讀取所述目標(biāo)分區(qū)中的所述第一重做日志；所述目標(biāo)存儲(chǔ)節(jié)點(diǎn)將所述第一重做日志中的所述第一數(shù)據(jù)寫入所述目標(biāo)分區(qū)中用于存儲(chǔ)所述目標(biāo)頁(yè)的數(shù)據(jù)的物理地址空間。

在一種可能的實(shí)現(xiàn)方式中，所述數(shù)據(jù)處理方法還包括：所述數(shù)據(jù)庫(kù)引擎確定所述數(shù)據(jù)庫(kù)引擎對(duì)應(yīng)的內(nèi)存中是否存在待查詢數(shù)據(jù)；若所述數(shù)據(jù)庫(kù)引擎確定所述內(nèi)存中存在所述待查詢數(shù)據(jù)，則返回所述待查詢數(shù)據(jù)。

在一種可能的實(shí)現(xiàn)方式中，若所述數(shù)據(jù)庫(kù)引擎確定所述內(nèi)存中不存在所述待查詢數(shù)據(jù)，則所述數(shù)據(jù)處理方法還包括：所述數(shù)據(jù)庫(kù)引擎確定所述帶查詢數(shù)據(jù)所屬的待查詢頁(yè)的標(biāo)識(shí)信息；所述數(shù)據(jù)庫(kù)引擎根據(jù)所述待查詢頁(yè)的標(biāo)識(shí)信息，確定所述帶查詢頁(yè)所屬的待查詢分區(qū)；所述數(shù)據(jù)庫(kù)引擎根據(jù)所述待查詢分區(qū)中存儲(chǔ)的所述待查詢頁(yè)中的數(shù)據(jù)和所述帶查詢分區(qū)中存儲(chǔ)的所述待查詢頁(yè)的重做日志中的數(shù)據(jù)，反饋所述待查詢數(shù)據(jù)。