[發(fā)明專利]一種加速數(shù)據(jù)處理效率的方法及數(shù)據(jù)庫

在審

• 申請?zhí)枺?/td>: 202010418545.X
• 申請日: 2020-05-18
• 公開（公告）號: CN111752974A
• 公開（公告）日: 2020-10-09
• 發(fā)明（設(shè)計(jì)）人: 張遠(yuǎn)斌
• 申請（專利權(quán)）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F16/21;G06F16/2453
• 代理公司: 濟(jì)南誠智商標(biāo)專利事務(wù)所有限公司 37105
• 代理人: 黃曉燕

本發(fā)明提供了一種加速數(shù)據(jù)處理效率的方法及數(shù)據(jù)庫，方法包括將數(shù)據(jù)庫SGA中的buffer cache進(jìn)行邏輯分類，形成內(nèi)存buffer cache、AEP和硬盤三層架構(gòu)；向數(shù)據(jù)庫發(fā)起寫請求后，數(shù)據(jù)庫dbwr進(jìn)程將寫請求要求更新的數(shù)據(jù)寫入到內(nèi)存buffer cache層中，內(nèi)存buffer cache層通過新建進(jìn)程將數(shù)據(jù)刷新到AEP層中，所述數(shù)據(jù)刷新依照write back機(jī)制。本發(fā)明基于數(shù)據(jù)庫的IO特性和AEP非易失性的特性，將數(shù)據(jù)庫SGA中的buffer cache進(jìn)行邏輯分類，在內(nèi)存和硬盤中間添加中間層—AEP層，使用AEP介質(zhì)作為buffer cache緩存熱數(shù)據(jù)，因AEP的寫入速度遠(yuǎn)優(yōu)于硬盤，提升數(shù)據(jù)庫的執(zhí)行效率，同時(shí)降低成本。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)庫的數(shù)據(jù)讀寫技術(shù)領(lǐng)域，尤其是一種加速數(shù)據(jù)處理效率的方法及數(shù)據(jù)庫。

背景技術(shù)

K-DB(企業(yè)級高性能關(guān)系型數(shù)據(jù)庫)數(shù)據(jù)庫以大型商用關(guān)系型數(shù)據(jù)庫產(chǎn)品的設(shè)計(jì)思想和技術(shù)原理為藍(lán)本，實(shí)現(xiàn)了多進(jìn)程、多線程的產(chǎn)品架構(gòu)，具有前后臺工作進(jìn)程和線程處理機(jī)制、數(shù)據(jù)庫內(nèi)部的時(shí)鐘機(jī)制共享內(nèi)存、后臺程序、數(shù)據(jù)庫文件(數(shù)據(jù)文件、控制文件、Redo日志文件、歸檔日志文件等)，并且還提供了企業(yè)級數(shù)據(jù)庫功能，如基于共享存儲(chǔ)的雙活/多活集群K-RAC、實(shí)現(xiàn)數(shù)據(jù)庫實(shí)例與數(shù)據(jù)庫文件解耦的存儲(chǔ)虛擬化KAS等。當(dāng)前的業(yè)務(wù)數(shù)據(jù)急劇增長，數(shù)據(jù)量已突破TB(terabytes)變?yōu)镻B(petabytes)。如果用單一數(shù)據(jù)系統(tǒng)承載企業(yè)整體的數(shù)據(jù)，數(shù)據(jù)系統(tǒng)必然會(huì)越來越大，數(shù)據(jù)的急劇增長必將影響系統(tǒng)性能，增加費(fèi)用支出。

傳統(tǒng)數(shù)據(jù)庫數(shù)據(jù)全部存儲(chǔ)在硬盤上，通過SGA(System Global Area，系統(tǒng)全局區(qū))等技術(shù)實(shí)現(xiàn)數(shù)據(jù)的緩存，通過兩層架構(gòu)提升查詢效率：從邏輯上分為熱數(shù)據(jù)和冷數(shù)據(jù)，從物理上看熱數(shù)據(jù)放在內(nèi)存中，冷數(shù)據(jù)放在機(jī)械硬盤中，該技術(shù)通過在系統(tǒng)內(nèi)存區(qū)間給數(shù)據(jù)庫分配SGA內(nèi)存緩存區(qū)，解決熱數(shù)據(jù)存儲(chǔ)問題。

對于上述傳統(tǒng)的數(shù)據(jù)庫處理方式，必須從磁盤讀取所有數(shù)據(jù)塊并在改變它之后又必須把每一塊寫入磁盤，顯然效率會(huì)非常低；數(shù)據(jù)緩沖區(qū)存放需要經(jīng)常訪問的數(shù)據(jù)，供所有用戶使用。修改數(shù)據(jù)時(shí)，首先從數(shù)據(jù)文件中取出數(shù)據(jù)，存儲(chǔ)在數(shù)據(jù)緩沖區(qū)中，修改/插入數(shù)據(jù)也存儲(chǔ)在緩沖區(qū)中，commit或DBWR進(jìn)程的其他條件引發(fā)時(shí)，數(shù)據(jù)被寫入數(shù)據(jù)文件，同樣會(huì)影響效率。

發(fā)明內(nèi)容

本發(fā)明提供了一種加速數(shù)據(jù)處理效率的方法及數(shù)據(jù)庫，用于解決現(xiàn)有數(shù)據(jù)庫存儲(chǔ)效率低的問題。

為實(shí)現(xiàn)上述目的，本發(fā)明采用下述技術(shù)方案：

本發(fā)明第一方面提供了一種加速數(shù)據(jù)處理效率的方法，所述方法包括以下步驟：

將數(shù)據(jù)庫SGA中的buffer cache進(jìn)行邏輯分類，形成內(nèi)存buffer cache、AEP和硬盤三層架構(gòu)；

向數(shù)據(jù)庫發(fā)起寫請求后，數(shù)據(jù)庫dbwr進(jìn)程將寫請求要求更新的數(shù)據(jù)寫入到內(nèi)存buffer cache層中，內(nèi)存buffer cache層通過新建進(jìn)程將數(shù)據(jù)刷新到AEP層中，所述數(shù)據(jù)刷新依照write back機(jī)制。

進(jìn)一步地，所述write back機(jī)制具體為：

在AEP層被寫滿后，將被替換出的數(shù)據(jù)寫入硬盤層。

進(jìn)一步地，所述被替換出的數(shù)據(jù)為冷數(shù)據(jù)。

進(jìn)一步地，所述AEP層在處理I/O請求時(shí)，首先區(qū)別當(dāng)前I/O的類型，對于順序I/O，通過硬盤層處理，對于隨機(jī)I/O，通過AEP層進(jìn)行緩存。

進(jìn)一步地，所述AEP層進(jìn)行數(shù)據(jù)處理時(shí)，采用并行I/O，通過細(xì)粒度的同步鎖機(jī)制增加I/O過程的并行性。

進(jìn)一步地，所述新建進(jìn)程的刷新過程包括：

根據(jù)請求命中緩存的情況，選擇對應(yīng)的處理分支，所述處理分支包括AEP層和硬盤層；