[發(fā)明專利]基于LSM-tree的分級(jí)存儲(chǔ)方法、裝置、OLAP數(shù)據(jù)庫(kù)系統(tǒng)及介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 201711437794.8
• 申請(qǐng)日: 2017-12-26
• 公開(kāi)（公告）號(hào): CN108021702A
• 公開(kāi)（公告）日: 2018-05-11
• 發(fā)明（設(shè)計(jì)）人: 李超勇;牟宇航;馬如悅
• 申請(qǐng)（專利權(quán)）人: 百度在線網(wǎng)絡(luò)技術(shù)（北京）有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 北京市鑄成律師事務(wù)所 11313
• 代理人: 張臻賢;武晨燕

1.一種基于LSM-tree的分級(jí)存儲(chǔ)方法，其特征在于，采用基于LSM-tree的樹(shù)形結(jié)構(gòu)組織數(shù)據(jù)庫(kù)的文件存儲(chǔ)，將導(dǎo)入數(shù)據(jù)庫(kù)的文件進(jìn)行合并操作；

所述合并操作包括累積合并操作和基本合并操作；

所述累積合并操作包括：將第一類型文件進(jìn)行合并操作，所述第一類型文件包括已導(dǎo)入數(shù)據(jù)庫(kù)、未進(jìn)行合并操作，且滿足累積合并條件的文件；

所述基本合并操作包括：將第二類型文件和所述累積合并操作生成的文件進(jìn)行合并操作，所述第二類型文件包括已導(dǎo)入數(shù)據(jù)庫(kù)、未進(jìn)行合并操作，且不滿足累積合并條件的文件。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述累積合并條件包括文件的大小小于等于預(yù)設(shè)的文件大小閾值。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：

在已導(dǎo)入數(shù)據(jù)庫(kù)、未進(jìn)行合并操作的文件數(shù)大于等于預(yù)設(shè)的第一文件數(shù)閾值的情況下，進(jìn)行所述累積合并操作；或者，

在所述第一類型文件的文件數(shù)大于等于預(yù)設(shè)的第一文件數(shù)閾值的情況下，進(jìn)行所述累積合并操作。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：在所述累積合并操作生成的文件數(shù)大于等于預(yù)設(shè)的第二文件數(shù)閾值的情況下，進(jìn)行所述基本合并操作。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：在累積版本文件的總的字節(jié)數(shù)與基本版文件的總的字節(jié)數(shù)之比大于等于預(yù)設(shè)的比例閾值的情況下，進(jìn)行所述基本合并操作；所述累積版本文件包括現(xiàn)有數(shù)據(jù)庫(kù)中所有的所述累積合并操作生成的文件，所述基本版本文件包括現(xiàn)有數(shù)據(jù)庫(kù)中所有的所述基本合并操作生成的文件。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：每隔預(yù)設(shè)的時(shí)間閾值時(shí)間，進(jìn)行一次所述基本合并操作。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：在預(yù)設(shè)的時(shí)間點(diǎn)定時(shí)觸發(fā)所述基本合并操作。

8.根據(jù)權(quán)利要求1-7中任一項(xiàng)所述的方法，其特征在于，還包括：

所述文件大小閾值的取值范圍為3-5G；和/或，

所述第一文件數(shù)閾值的取值范圍為5-8；和/或，

所述第二文件數(shù)閾值的取值范圍為5-8；和/或，

所述比例閾值的取值范圍為30％-50％；和/或，

所述時(shí)間閾值的取值范圍為7天-10天。

9.一種基于LSM-tree的分級(jí)存儲(chǔ)裝置，其特征在于，

所述裝置用于：采用基于LSM-tree的樹(shù)形結(jié)構(gòu)組織數(shù)據(jù)庫(kù)的文件存儲(chǔ)，將導(dǎo)入數(shù)據(jù)庫(kù)的文件進(jìn)行合并操作；所述合并操作包括累積合并操作和基本合并操作；所述裝置包括累積合并單元和基本合并單元；

所述累積合并單元用于：將第一類型文件進(jìn)行合并操作，所述第一類型文件包括已導(dǎo)入數(shù)據(jù)庫(kù)、未進(jìn)行合并操作，且滿足累積合并條件的文件；

所述基本合并單元用于：將第二類型文件和所述累積合并操作生成的文件進(jìn)行合并操作，所述第二類型文件包括已導(dǎo)入數(shù)據(jù)庫(kù)、未進(jìn)行合并操作，且不滿足累積合并條件的文件。

10.根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述累積合并條件包括文件的大小小于等于預(yù)設(shè)的文件大小閾值。

11.根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述累積合并單元還用于：

在已導(dǎo)入數(shù)據(jù)庫(kù)、未進(jìn)行合并操作的文件數(shù)大于等于預(yù)設(shè)的第一文件數(shù)閾值的情況下，進(jìn)行所述累積合并操作；或者，

在所述第一類型文件的文件數(shù)大于等于預(yù)設(shè)的第一文件數(shù)閾值的情況下，進(jìn)行所述累積合并操作。

12.根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述基本合并單元還用于：在所述累積合并操作生成的文件數(shù)大于等于預(yù)設(shè)的第二文件數(shù)閾值的情況下，進(jìn)行所述基本合并操作。