[發(fā)明專利]一種應(yīng)用于HBASE數(shù)據(jù)庫的數(shù)據(jù)寫入方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201310664539.2
• 申請日: 2013-12-09
• 公開（公告）號: CN103631940A
• 公開（公告）日: 2014-03-12
• 發(fā)明（設(shè)計）人: 李浩;羅云彬;賈卷群;王志軍
• 申請（專利權(quán)）人: 中國聯(lián)合網(wǎng)絡(luò)通信集團有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F12/06;G06F12/08
• 代理公司: 北京安信方達知識產(chǎn)權(quán)代理有限公司 11262
• 代理人: 栗若木;白瑩

1.一種應(yīng)用于HBASE數(shù)據(jù)庫的數(shù)據(jù)寫入方法，包括：

當(dāng)檢測到需要對第一分區(qū)的緩存Memstore進行緩存寫入磁盤Flush操作時，查找數(shù)據(jù)量小于預(yù)定閾值的Memstore數(shù)據(jù)；將查找到的Memstore數(shù)據(jù)寫入固態(tài)硬盤上與所述第一分區(qū)對應(yīng)的分區(qū)緩存中，形成磁盤文件；

定期對所述固態(tài)硬盤上的所述磁盤文件進行壓縮；當(dāng)檢測到所述第一分區(qū)空閑時，將所述固態(tài)硬盤上相應(yīng)的分區(qū)緩存中的所述磁盤文件轉(zhuǎn)移到所述第一分區(qū)中。

2.如權(quán)利要求1所述的方法，其特征在于：

所述預(yù)定閾值為Memstore-size的1/3，其中Memstore-size為所述磁盤文件的最大值。

3.如權(quán)利要求1所述的方法，其特征在于，還包括：

當(dāng)檢測到所述第一分區(qū)的內(nèi)存大小超過上限引發(fā)對HBASE的阻塞寫入操作時，將所述第一分區(qū)的Flush隊列中的Memstore數(shù)據(jù)寫入所述固態(tài)硬盤上對應(yīng)于所述第一分區(qū)的分區(qū)緩存中，形成磁盤文件。

4.如權(quán)利要求1到3中任一項所述的方法，其特征在于，還包括：

分別根據(jù)各分區(qū)包含的行標識設(shè)置該分區(qū)在所述固態(tài)硬盤中所對應(yīng)的分區(qū)緩存的起始行標識Startkey和結(jié)束行標識Stopkey，其中Stopkey大于Startkey；

所述將查找到的Memstore數(shù)據(jù)寫入固態(tài)硬盤上所述第一分區(qū)對應(yīng)的分區(qū)緩存中，形成磁盤文件的步驟包括：

當(dāng)向所述固態(tài)硬盤寫入Memstore數(shù)據(jù)時，對所寫入的Memstore數(shù)據(jù)按照行標識進行排序，并獲取所寫入的Memstore數(shù)據(jù)中行標識的最大值和最小值；

查找所述固態(tài)硬盤中是否存在Startkey小于所述行標識的最小值且Stopkey大于所述行標識的最大值的分區(qū)緩存；

如果存在，則確定所查找到的所述固態(tài)硬盤中的分區(qū)緩存為所述第一分區(qū)對應(yīng)的分區(qū)緩存；

如果不存在，則將所寫入的Memstore數(shù)據(jù)的所有行標識分別和所述固態(tài)硬盤中各分區(qū)緩存包含的行標識進行比較，確定相同行標識個數(shù)最多的分區(qū)緩存作為所述第一分區(qū)對應(yīng)的分區(qū)緩存；根據(jù)所寫入的Memstore數(shù)據(jù)的行標識更新所確定的分區(qū)緩存的Startkey和Stopkey；

將按照行標識排序后的Memstore數(shù)據(jù)寫入所確定的分區(qū)緩存，形成磁盤文件。

5.如權(quán)利要求4所述的方法，其特征在于，所述對固態(tài)硬盤上的磁盤文件進行壓縮的步驟包括：

21、在所述固態(tài)硬盤上的所述磁盤文件中，選出相鄰且文件大小之和最小的兩個磁盤文件；

22、合并選出的兩個磁盤文件，返回步驟21。

6.一種應(yīng)用于HBASE數(shù)據(jù)庫的數(shù)據(jù)寫入系統(tǒng)，其特征在于，包括：

緩存寫入磁盤控制模塊，用于當(dāng)檢測到需要對第一分區(qū)的緩存Memstore進行緩存寫入磁盤Flush操作時，查找數(shù)據(jù)量小于預(yù)定閾值的Memstore數(shù)據(jù)；將查找到的Memstore數(shù)據(jù)寫入固態(tài)硬盤上與所述第一分區(qū)對應(yīng)的分區(qū)緩存中，形成磁盤文件；

分區(qū)緩存控制模塊，用于定期對所述固態(tài)硬盤上的所述磁盤文件進行壓縮；當(dāng)檢測到所述第一分區(qū)空閑時，調(diào)用所述緩存寫入磁盤控制模塊將所述固態(tài)硬盤上相應(yīng)的分區(qū)緩存中的所述磁盤文件轉(zhuǎn)移到所述第一分區(qū)中。

7.如權(quán)利要求6所述的系統(tǒng)，其特征在于：

所述預(yù)定閾值為Memstore-size的1/3，其中Memstore-size為所述磁盤文件的最大值。

8.如權(quán)利要求6所述的系統(tǒng)，其特征在于：

所述緩存寫入磁盤控制模塊還用于當(dāng)檢測到所述第一分區(qū)的內(nèi)存大小超過上限引發(fā)對HBASE的阻塞寫入操作時，將所述第一分區(qū)的Flush隊列中的Memstore數(shù)據(jù)寫入所述固態(tài)硬盤上對應(yīng)于所述第一分區(qū)的分區(qū)緩存中，形成磁盤文件。