[發(fā)明專(zhuān)利]一種基于NVM存儲(chǔ)設(shè)備的快速大數(shù)據(jù)系統(tǒng)及其設(shè)計(jì)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201810001877.0
• 申請(qǐng)日: 2018-01-02
• 公開(kāi)（公告）號(hào): CN108287664A
• 公開(kāi)（公告）日: 2018-07-17
• 發(fā)明（設(shè)計(jì)）人: 牛德姣;陳波;蔡濤;詹畢晟;彭長(zhǎng)生;詹永照
• 申請(qǐng)（專(zhuān)利權(quán)）人: 江蘇科海智能系統(tǒng)有限公司;江蘇大學(xué)
• 主分類(lèi)號(hào): G06F3/06
• 分類(lèi)號(hào): G06F3/06
• 代理公司: 南京正聯(lián)知識(shí)產(chǎn)權(quán)代理有限公司 32243
• 代理人: 盧霞

本發(fā)明公開(kāi)了一種基于NVM存儲(chǔ)設(shè)備的快速大數(shù)據(jù)系統(tǒng)及其設(shè)計(jì)方法，針對(duì)現(xiàn)有大數(shù)據(jù)系統(tǒng)訪問(wèn)本地存儲(chǔ)設(shè)備效率較低的問(wèn)題，引入NVM存儲(chǔ)設(shè)備替換傳統(tǒng)存儲(chǔ)設(shè)備，設(shè)計(jì)基于NVM存儲(chǔ)設(shè)備的快速大數(shù)據(jù)系統(tǒng)來(lái)工作；包括快速大數(shù)據(jù)系統(tǒng)的結(jié)構(gòu)設(shè)計(jì)和基于NVM存儲(chǔ)設(shè)備的高速節(jié)點(diǎn)存儲(chǔ)子系統(tǒng)構(gòu)建方法。本發(fā)明使用基于NVM存儲(chǔ)設(shè)備的高速節(jié)點(diǎn)存儲(chǔ)子系統(tǒng)構(gòu)建方法，在元數(shù)據(jù)節(jié)點(diǎn)服務(wù)器和數(shù)據(jù)節(jié)點(diǎn)服務(wù)器中高效存儲(chǔ)元數(shù)據(jù)與數(shù)據(jù)，提高大數(shù)據(jù)系統(tǒng)中存儲(chǔ)和訪問(wèn)海量數(shù)據(jù)的效率。本發(fā)明可應(yīng)用于支撐各類(lèi)大數(shù)據(jù)應(yīng)用，提高其執(zhí)行和訪問(wèn)數(shù)據(jù)的效率。

技術(shù)領(lǐng)域

本發(fā)明屬于大數(shù)據(jù)系統(tǒng)領(lǐng)域，具體涉及大數(shù)據(jù)系統(tǒng)的數(shù)據(jù)存儲(chǔ)與訪問(wèn)效率，設(shè)計(jì)了一種基于NVM存儲(chǔ)設(shè)備的快速大數(shù)據(jù)系統(tǒng)。主要引入NVM存儲(chǔ)設(shè)備替換傳統(tǒng)存儲(chǔ)設(shè)備，使用基于NVM存儲(chǔ)設(shè)備構(gòu)建高速節(jié)點(diǎn)存儲(chǔ)子系統(tǒng)，設(shè)計(jì)基于NVM存儲(chǔ)設(shè)備的快速大數(shù)據(jù)系統(tǒng)，在元數(shù)據(jù)節(jié)點(diǎn)服務(wù)器和數(shù)據(jù)節(jié)點(diǎn)服務(wù)器中高效存儲(chǔ)元數(shù)據(jù)與數(shù)據(jù)，提高大數(shù)據(jù)系統(tǒng)中存儲(chǔ)和訪問(wèn)海量數(shù)據(jù)的效率。

背景技術(shù)

大數(shù)據(jù)系統(tǒng)是當(dāng)前研究與開(kāi)發(fā)的熱點(diǎn)，Hadoop其中的典型代表，具有處理海量數(shù)據(jù)的能力，但大數(shù)據(jù)系統(tǒng)中節(jié)點(diǎn)服務(wù)器本地存儲(chǔ)設(shè)備一般使用Disk和基于Flash的SSD，性能較低；Hadoop中數(shù)據(jù)結(jié)點(diǎn)在頻繁的與客戶端交互過(guò)程中會(huì)形成大量的I/O操作，文件存取的時(shí)間遠(yuǎn)大于傳輸?shù)臅r(shí)間，大部分時(shí)候造成集群效率下降的原因不是網(wǎng)絡(luò)問(wèn)題，而是物理設(shè)備的I/O效率問(wèn)題，I/O效率已經(jīng)成為大數(shù)據(jù)系統(tǒng)中不得不面對(duì)的瓶頸問(wèn)題。所以對(duì)于提高大數(shù)據(jù)系統(tǒng)的效率，不但要優(yōu)化內(nèi)存資源的占用；也必須提高系統(tǒng)的I/O性能和減少讀寫(xiě)操作的時(shí)間延遲，新型的高性能存儲(chǔ)設(shè)備的出現(xiàn)如NVM給了我們一個(gè)很好的機(jī)會(huì)來(lái)提高大數(shù)據(jù)系統(tǒng)的I/O性能。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種基于NVM存儲(chǔ)設(shè)備的快速大數(shù)據(jù)系統(tǒng)及其設(shè)計(jì)方法，以實(shí)現(xiàn)在元數(shù)據(jù)節(jié)點(diǎn)服務(wù)器和數(shù)據(jù)節(jié)點(diǎn)服務(wù)器中高效存儲(chǔ)元數(shù)據(jù)與數(shù)據(jù)，提高大數(shù)據(jù)系統(tǒng)中存儲(chǔ)和訪問(wèn)海量數(shù)據(jù)的效率。本發(fā)明針對(duì)現(xiàn)有大數(shù)據(jù)系統(tǒng)訪問(wèn)本地存儲(chǔ)設(shè)備效率較低的問(wèn)題，引入NVM存儲(chǔ)設(shè)備替換傳統(tǒng)存儲(chǔ)設(shè)備，設(shè)計(jì)基于NVM存儲(chǔ)設(shè)備的快速大數(shù)據(jù)系統(tǒng)來(lái)工作；包括快速大數(shù)據(jù)系統(tǒng)的結(jié)構(gòu)設(shè)計(jì)和基于NVM存儲(chǔ)設(shè)備的高速節(jié)點(diǎn)存儲(chǔ)子系統(tǒng)構(gòu)建方法，具體技術(shù)方案如下：

一種基于NVM存儲(chǔ)設(shè)備的快速大數(shù)據(jù)系統(tǒng)設(shè)計(jì)方法，包括快速大數(shù)據(jù)系統(tǒng)的結(jié)構(gòu)設(shè)計(jì)，其特征在于：還包括引入NVM存儲(chǔ)設(shè)備，基于NVM存儲(chǔ)設(shè)備對(duì)高速節(jié)點(diǎn)存儲(chǔ)子系統(tǒng)進(jìn)行構(gòu)建，以在元數(shù)據(jù)節(jié)點(diǎn)服務(wù)器和數(shù)據(jù)節(jié)點(diǎn)服務(wù)器中高效存儲(chǔ)元數(shù)據(jù)與數(shù)據(jù)，提高大數(shù)據(jù)系統(tǒng)中存儲(chǔ)和訪問(wèn)海量數(shù)據(jù)的效率，具體包括以下步驟：

步驟一，使用NVM存儲(chǔ)設(shè)備替換Disk和基于Flash的SSD；

步驟二，使用Ext4單機(jī)文件系統(tǒng)對(duì)NVM存儲(chǔ)設(shè)備進(jìn)行格式化；

步驟三，將格式化后的NVM存儲(chǔ)設(shè)備掛入虛擬文件系統(tǒng)；

步驟四，由此構(gòu)建了由NVM存儲(chǔ)設(shè)備、單機(jī)文件系統(tǒng)和虛擬文件系統(tǒng)所構(gòu)成的基于NVM存儲(chǔ)設(shè)備高速節(jié)點(diǎn)存儲(chǔ)子系統(tǒng)。

一種基于NVM存儲(chǔ)設(shè)備的快速大數(shù)據(jù)系統(tǒng)，包括一個(gè)元數(shù)據(jù)節(jié)點(diǎn)服務(wù)器、多個(gè)數(shù)據(jù)節(jié)點(diǎn)服務(wù)器、大數(shù)據(jù)系統(tǒng)元數(shù)據(jù)節(jié)點(diǎn)端、大數(shù)據(jù)系統(tǒng)數(shù)據(jù)節(jié)點(diǎn)端、大數(shù)據(jù)系統(tǒng)節(jié)點(diǎn)虛擬文件系統(tǒng)和大數(shù)據(jù)系統(tǒng)節(jié)點(diǎn)單機(jī)文件系統(tǒng)，其特征在于：還包括大數(shù)據(jù)系統(tǒng)節(jié)點(diǎn)NVM存儲(chǔ)設(shè)備；使用所述基于NVM存儲(chǔ)設(shè)備的高速節(jié)點(diǎn)存儲(chǔ)子系統(tǒng)構(gòu)建方法構(gòu)建而得；首先快速大數(shù)據(jù)系統(tǒng)中包含元數(shù)據(jù)節(jié)點(diǎn)服務(wù)器和數(shù)據(jù)節(jié)點(diǎn)服務(wù)器兩類(lèi)節(jié)點(diǎn)，并使用大數(shù)據(jù)系統(tǒng)元數(shù)據(jù)節(jié)點(diǎn)端和大數(shù)據(jù)系統(tǒng)數(shù)據(jù)節(jié)點(diǎn)端進(jìn)行連接，在這兩類(lèi)節(jié)點(diǎn)服務(wù)器中均使用大數(shù)據(jù)系統(tǒng)節(jié)點(diǎn)虛擬文件系統(tǒng)、大數(shù)據(jù)系統(tǒng)節(jié)點(diǎn)單機(jī)文件系統(tǒng)和大數(shù)據(jù)系統(tǒng)節(jié)點(diǎn)NVM存儲(chǔ)設(shè)備。

本發(fā)明具有有益效果。本發(fā)明在大數(shù)據(jù)系統(tǒng)的各節(jié)點(diǎn)服務(wù)器中，利用NVM存儲(chǔ)設(shè)備構(gòu)建高速節(jié)點(diǎn)存儲(chǔ)子系統(tǒng)，有效提高大數(shù)據(jù)系統(tǒng)訪問(wèn)本地元數(shù)據(jù)和數(shù)據(jù)的效率，從而提高大數(shù)據(jù)系統(tǒng)訪問(wèn)海量數(shù)據(jù)時(shí)的速度。

附圖說(shuō)明

圖1是本發(fā)明的結(jié)構(gòu)圖；