[發(fā)明專利]一種面向超融合設(shè)備的近數(shù)據(jù)處理系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202010742897.0
• 申請日: 2020-07-29
• 公開（公告）號: CN111880739A
• 公開（公告）日: 2020-11-03
• 發(fā)明（設(shè)計）人: 喻崇仁;陽晗杰;殷雙飛
• 申請（專利權(quán)）人: 北京計算機技術(shù)及應(yīng)用研究所
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F9/455
• 代理公司: 中國兵器工業(yè)集團公司專利中心 11011
• 代理人: 王雪芬

本發(fā)明涉及一種面向超融合設(shè)備的近數(shù)據(jù)處理系統(tǒng)，屬于計算機技術(shù)領(lǐng)域。本發(fā)明通過在超融合設(shè)備中進行近數(shù)據(jù)處理設(shè)計，其中在虛擬機模塊和共享存儲模塊之間構(gòu)建緩存模塊，實現(xiàn)了對當(dāng)前虛擬機訪問的熱點數(shù)據(jù)的緩存，當(dāng)虛擬機需要訪問共享存儲模塊的數(shù)據(jù)時，可以先在本地高速硬盤中查找，命中即可直接訪問，從而避免訪問底層數(shù)據(jù)帶來的時間延遲，能夠拉近存儲與處理部件的距離，減少數(shù)據(jù)處理過程中的I/O路徑，降低數(shù)據(jù)處理時的I/O延遲，可以有效提升信息系統(tǒng)的數(shù)據(jù)處理能力。

技術(shù)領(lǐng)域

本發(fā)明屬于計算機技術(shù)領(lǐng)域，具體涉及一種面向超融合設(shè)備的近數(shù)據(jù)處理系統(tǒng)。

背景技術(shù)

當(dāng)前，計算機存儲性能的提升速度嚴(yán)重滯后于處理器性能，存儲瓶頸導(dǎo)致高性能處理器難以發(fā)揮應(yīng)有的功效。隨著物聯(lián)網(wǎng)、智能終端、智能感知設(shè)備的興起和廣泛應(yīng)用，信息系統(tǒng)中產(chǎn)生了海量半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)，受到I/O性能尤其是網(wǎng)絡(luò)傳輸、硬盤讀寫帶寬的限制，現(xiàn)有信息系統(tǒng)難以滿足海量數(shù)據(jù)處理的應(yīng)用需求，以計算為中心的數(shù)據(jù)處理方式面臨著內(nèi)存容量有限、緩存命中率低，尤其是數(shù)據(jù)I/O壓力大等諸多挑戰(zhàn)。因此，信息系統(tǒng)數(shù)據(jù)處理方式的變革勢在必行，計算存儲融合成為了當(dāng)前主流的發(fā)展方向。

近年來，超融合架構(gòu)在民用領(lǐng)域得到了快速發(fā)展，2019年，全球超融合基礎(chǔ)設(shè)施市場規(guī)模達到146億，年復(fù)合增長率為23.8％。目前，超融合設(shè)備產(chǎn)品國外廠商主要有Nutanix、VMware、Maxta、DELL、HDS等。國內(nèi)超融合技術(shù)起步較晚，目前正處在快速發(fā)展、逐漸完善的階段。華為已經(jīng)發(fā)布了FusionCube超融合基礎(chǔ)設(shè)施，新華三推出了UIS系列超融合產(chǎn)品，深信服提出了aCloud超融合解決方案。

但是，國內(nèi)外超融合產(chǎn)品大多存在計算存儲深度融合調(diào)度能力不足的問題，普遍是基于現(xiàn)有分布式存儲、虛擬機管理平臺的組合應(yīng)用，沒有實現(xiàn)計算存儲的深度融合，對近數(shù)據(jù)處理的支撐不足。

發(fā)明內(nèi)容

(一)要解決的技術(shù)問題

本發(fā)明要解決的技術(shù)問題是：如何有效提升信息系統(tǒng)的數(shù)據(jù)處理能力。

(二)技術(shù)方案

為了解決上述技術(shù)問題，本發(fā)明提供了一種面向超融合設(shè)備的近數(shù)據(jù)處理系統(tǒng)，該系統(tǒng)基于多個計算節(jié)點進行設(shè)計，將每個計算節(jié)點配置多個普通硬盤、多個本地高速硬盤，該近數(shù)據(jù)處理系統(tǒng)包括虛擬機模塊、緩存模塊和共享存儲模塊；

所述虛擬機模塊用于完成多個計算節(jié)點上虛擬機的創(chuàng)建、刪除，實現(xiàn)對計算資源的統(tǒng)一管理；

所述緩存模塊用于針對每個創(chuàng)建的虛擬機，在多個計算節(jié)點上本地高速硬盤上劃分出對應(yīng)獨立的存儲空間，緩存對應(yīng)虛擬機訪問的熱點數(shù)據(jù)；

所述共享存儲模塊用于實現(xiàn)對多個計算節(jié)點上普通硬盤的統(tǒng)一管理，為虛擬機模塊創(chuàng)建的虛擬機提供共享存儲空間。

優(yōu)選地，所述緩存模塊采用基于訪問行為的惰性緩存調(diào)度算法實現(xiàn)數(shù)據(jù)緩存。

優(yōu)選地，所述緩存模塊采用基于訪問行為的惰性緩存調(diào)度算法實現(xiàn)數(shù)據(jù)緩存，其中假設(shè)：在預(yù)設(shè)短時間內(nèi)被訪問至少兩次比被訪問一次的數(shù)據(jù)塊更有可能成為熱點，并且針對數(shù)據(jù)塊在不同時間段的訪問行為對判斷該數(shù)據(jù)塊成為熱點的影響不同；

該惰性緩存調(diào)度算法借助兩級緩存進行熱點數(shù)據(jù)的篩選：在內(nèi)存中管理兩個鏈表C₁和C₂，分別對應(yīng)一級緩存和二級緩存。

優(yōu)選地，所述緩存模塊采用基于訪問行為的惰性緩存調(diào)度算法實現(xiàn)數(shù)據(jù)緩存時，對熱點數(shù)據(jù)的識別具體為：