[發(fā)明專利]一種可靈活配置的數(shù)據(jù)庫分層存儲優(yōu)化方法

有效

• 申請?zhí)枺?/td>: 201610009405.0
• 申請日: 2016-01-07
• 公開（公告）號: CN105653720B
• 公開（公告）日: 2020-03-27
• 發(fā)明（設(shè)計(jì)）人: 李海華;冷建全;馮玉
• 申請（專利權(quán)）人: 北京人大金倉信息技術(shù)股份有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/21
• 代理公司: 北京紐樂康知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11210
• 代理人: 史靜

本發(fā)明涉及一種可靈活配置的數(shù)據(jù)庫分層存儲優(yōu)化方法，包括以下步驟：提供一SQL功能，用于支持用戶按需靈活配置表、索引和WAL日志的存儲管理方式；和用戶利用提供的所述SQL功能，依據(jù)應(yīng)用數(shù)據(jù)的活躍程度，定制自己的表、索引和WAL日志的存儲管理方式。本發(fā)明有益效果：所述方法采用分層存儲思想，對傳統(tǒng)數(shù)據(jù)庫存儲管理進(jìn)行優(yōu)化，改造后的數(shù)據(jù)庫不僅支持NVM和SSD等新型存儲介質(zhì)，而且還允許用戶通過SQL命令按需分層存儲數(shù)據(jù)，有效解決傳統(tǒng)數(shù)據(jù)庫的IO瓶頸問題，顯著地提升整個(gè)系統(tǒng)的性能。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)庫存儲技術(shù)領(lǐng)域，涉及一種數(shù)據(jù)庫存儲優(yōu)化方法，尤其涉及一種可靈活配置的數(shù)據(jù)庫分層存儲優(yōu)化方法。

背景技術(shù)

通常，存儲介質(zhì)的用途主要包括兩類：緩存數(shù)據(jù)：為CPU高速計(jì)算緩存數(shù)據(jù)，例如DRAM；存儲數(shù)據(jù)：永久保存應(yīng)用數(shù)據(jù)，例如HDD；當(dāng)前的主流存儲介質(zhì)主要有DRAM、NVM、SSD和HDD，它們的特征對比如下表1所示：

表1當(dāng)前主流存儲介質(zhì)特征對比表

上表1中DRAM和NVM都屬于內(nèi)存設(shè)備，價(jià)格昂貴，存取單位是字節(jié)，在數(shù)據(jù)庫運(yùn)行中常用于緩存數(shù)據(jù)，二者的主要區(qū)別包括：DRAM和NVM存取速度都很快，NVM具有非易失性，而DRAM沒有，因此在數(shù)據(jù)庫中DRAM和NVM都可用于緩存數(shù)據(jù)，而NVM還可用于永久存儲數(shù)據(jù)；NVM的存儲容量比DRAM大；DRAM的存取速度比NVM稍快，因此更適合緩存最活躍的數(shù)據(jù)。

上表1中SSD和HDD都屬于硬盤設(shè)備，存儲容量比內(nèi)存設(shè)備要大很多，具有非易失性，常用于永久存儲數(shù)據(jù)，二者的主要區(qū)別包括：SSD的IO隨機(jī)存取速度比HDD快很多；SSD的存儲容量比HDD小；SSD的價(jià)格比HDD貴。

傳統(tǒng)數(shù)據(jù)庫一般只支持DRAM和HDD，而還不支持NVM和SSD等新型存儲介質(zhì)。其中，前者用于CPU計(jì)算時(shí)緩存數(shù)據(jù)，后者用于永久存儲數(shù)據(jù)。并且，數(shù)據(jù)庫對應(yīng)用數(shù)據(jù)的存儲管理一般都是自動實(shí)現(xiàn)，用戶不能靈活配置各自的數(shù)據(jù)存儲管理方式。

傳統(tǒng)數(shù)據(jù)庫的性能瓶頸主要體現(xiàn)在內(nèi)存容量不足，內(nèi)存和硬盤的IO存取速度不匹配等方面，具體如下：

在內(nèi)存上，傳統(tǒng)數(shù)據(jù)庫主要采用DRAM內(nèi)存，它的主要問題包括：容量小，不能緩存大量的計(jì)算數(shù)據(jù)，從而限制CPU的處理能力；易失性，一旦斷電則可能導(dǎo)致DRAM上緩存的數(shù)據(jù)丟失，因此為保障數(shù)據(jù)可靠性，更新后的數(shù)據(jù)應(yīng)及時(shí)地存儲到硬盤等永久介質(zhì)上，這易導(dǎo)致CPU計(jì)算受阻；換句話說，當(dāng)前內(nèi)存的主要問題是容量小和易失性問題。

在硬盤上，傳統(tǒng)數(shù)據(jù)庫主要采用HDD硬盤，它的主要問題是：雖然存儲容量非常大，但它的IO存取速度，尤其是隨機(jī)存取速度非常慢。在很多數(shù)據(jù)庫應(yīng)用中，通常需要大量的索引掃描，即隨機(jī)IO存取訪問。因此，當(dāng)前硬盤的主要問題是隨機(jī)存取速度慢問題。

綜上所述，在傳統(tǒng)基于DRAM和HDD方式下，用戶是不能設(shè)計(jì)自己的數(shù)據(jù)存儲方案，數(shù)據(jù)存儲由系統(tǒng)內(nèi)部自動實(shí)現(xiàn)，即永久數(shù)據(jù)存儲在HDD硬盤上，緩存數(shù)據(jù)存儲在DRAM內(nèi)存上。這種方式的主要缺陷包括：因DRAM和HDD的能力不足，制約CPU處理能力的充分發(fā)揮。尤其是在數(shù)據(jù)規(guī)模和吞吐量要求很高的數(shù)據(jù)庫應(yīng)用中，IO問題會變得更加突出。

發(fā)明內(nèi)容

本發(fā)明正是基于以上問題，提供一種可靈活配置的數(shù)據(jù)庫分層存儲優(yōu)化方法，旨在保護(hù)用戶已有數(shù)據(jù)庫系統(tǒng)投資前提下，通過數(shù)據(jù)庫內(nèi)部少量改造和開發(fā)新SQL功能提供數(shù)據(jù)庫存儲優(yōu)化。

為實(shí)現(xiàn)上述的發(fā)明目的，本發(fā)明采用的技術(shù)方案如下：

本發(fā)明所提供一種可靈活配置的數(shù)據(jù)庫分層存儲優(yōu)化方法，包括以下步驟：

提供一SQL功能，用于支持用戶按需靈活配置表、索引和WAL日志的存儲管理方式；和用戶利用提供的所述SQL功能，依據(jù)應(yīng)用數(shù)據(jù)的活躍程度，定制自己的表、索引和WAL日志的存儲管理方式。