[發(fā)明專(zhuān)利]一種基于分布式文件系統(tǒng)的大數(shù)據(jù)存儲(chǔ)訪(fǎng)問(wèn)系統(tǒng)及方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201410602562.3
• 申請(qǐng)日: 2014-10-31
• 公開(kāi)（公告）號(hào): CN104320401B
• 公開(kāi)（公告）日: 2018-06-22
• 發(fā)明（設(shè)計(jì)）人: 王少華
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京思特奇信息技術(shù)股份有限公司
• 主分類(lèi)號(hào): H04L29/06
• 分類(lèi)號(hào): H04L29/06;H04L29/08
• 代理公司: 北京輕創(chuàng)知識(shí)產(chǎn)權(quán)代理有限公司 11212
• 代理人: 楊立

1.一種基于分布式文件系統(tǒng)的大數(shù)據(jù)存儲(chǔ)訪(fǎng)問(wèn)系統(tǒng)，其特征在于，包括分布式文件系統(tǒng)，所述分布式文件系統(tǒng)包括元數(shù)據(jù)服務(wù)器、存儲(chǔ)服務(wù)器集群、訪(fǎng)問(wèn)客戶(hù)端及日志服務(wù)器；

所述元數(shù)據(jù)服務(wù)器用于對(duì)分布式文件系統(tǒng)中的元數(shù)據(jù)信息進(jìn)行管理及對(duì)所述存儲(chǔ)服務(wù)器集群進(jìn)行管理監(jiān)控；

所述存儲(chǔ)服務(wù)器集群用于按照預(yù)定規(guī)則將元數(shù)據(jù)信息中包含的數(shù)據(jù)存儲(chǔ)在存儲(chǔ)服務(wù)器集群的若干個(gè)數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)；

所述日志服務(wù)器用于對(duì)所述元數(shù)據(jù)服務(wù)器中的元數(shù)據(jù)信息按照預(yù)定時(shí)間間隔進(jìn)行備份并實(shí)時(shí)同步元數(shù)據(jù)服務(wù)器的操作日志；

所述訪(fǎng)問(wèn)客戶(hù)端用于根據(jù)元數(shù)據(jù)服務(wù)器的連接狀態(tài)，選擇通過(guò)元數(shù)據(jù)服務(wù)器或日志服務(wù)器中的備用元數(shù)據(jù)服務(wù)進(jìn)程訪(fǎng)問(wèn)存儲(chǔ)服務(wù)器集群；

所述日志服務(wù)器還包括：數(shù)據(jù)恢復(fù)模塊，用于當(dāng)元數(shù)據(jù)服務(wù)器處于離線(xiàn)狀態(tài)時(shí)，根據(jù)所述日志服務(wù)器從元數(shù)據(jù)服務(wù)器備份的元數(shù)據(jù)信息及同步的操作日志，恢復(fù)出最新的元數(shù)據(jù)信息；

其中，所述元數(shù)據(jù)服務(wù)器具體用于，按照預(yù)定規(guī)則將元數(shù)據(jù)信息中包含的數(shù)據(jù)進(jìn)行切分，將所述切分后的數(shù)據(jù)存儲(chǔ)在存儲(chǔ)服務(wù)器集群的若干個(gè)存儲(chǔ)節(jié)點(diǎn)；

對(duì)所述存儲(chǔ)服務(wù)器集群的各個(gè)存儲(chǔ)節(jié)點(diǎn)的數(shù)據(jù)存儲(chǔ)量及在線(xiàn)狀態(tài)進(jìn)行管理監(jiān)控。

2.如權(quán)利要求1所述的大數(shù)據(jù)存儲(chǔ)訪(fǎng)問(wèn)系統(tǒng)，其特征在于，所述分布式文件系統(tǒng)還包括：

虛擬IP配置模塊，用于對(duì)所述元數(shù)據(jù)服務(wù)器配置虛擬IP；

訪(fǎng)問(wèn)客戶(hù)端通過(guò)所述虛擬IP登陸元數(shù)據(jù)服務(wù)器訪(fǎng)問(wèn)存儲(chǔ)服務(wù)器集群。

3.如權(quán)利要求2所述的大數(shù)據(jù)存儲(chǔ)訪(fǎng)問(wèn)系統(tǒng)，其特征在于，所述分布式文件系統(tǒng)還包括：

切換模塊，用于當(dāng)元數(shù)據(jù)服務(wù)器處于離線(xiàn)狀態(tài)時(shí)，將元數(shù)據(jù)服務(wù)器服務(wù)進(jìn)程及虛擬IP切換至日志服務(wù)器啟動(dòng)。

4.一種基于分布式文件系統(tǒng)的大數(shù)據(jù)存儲(chǔ)訪(fǎng)問(wèn)方法，其特征在于，其采用權(quán)利要求1至3任一所述的基于分布式文件系統(tǒng)的大數(shù)據(jù)存儲(chǔ)訪(fǎng)問(wèn)系統(tǒng)，包括：

步驟S201、按照預(yù)定規(guī)則將元數(shù)據(jù)信息中包含的數(shù)據(jù)存儲(chǔ)在存儲(chǔ)服務(wù)器集群的若干個(gè)存儲(chǔ)節(jié)點(diǎn)，并由元數(shù)據(jù)服務(wù)器對(duì)所述元數(shù)據(jù)信息及存儲(chǔ)服務(wù)器集群進(jìn)行管理監(jiān)控；

步驟S202、日志服務(wù)器按照預(yù)定時(shí)間間隔對(duì)元數(shù)據(jù)服務(wù)器中的元數(shù)據(jù)信息進(jìn)行備份，并實(shí)時(shí)同步元數(shù)據(jù)服務(wù)器的操作日志；

步驟S203、訪(fǎng)問(wèn)客戶(hù)端向元數(shù)據(jù)服務(wù)器發(fā)送數(shù)據(jù)訪(fǎng)問(wèn)請(qǐng)求；

步驟S204、根據(jù)元數(shù)據(jù)服務(wù)器的連接狀態(tài)，所述訪(fǎng)問(wèn)客戶(hù)端選擇通過(guò)元數(shù)據(jù)服務(wù)器或日志服務(wù)器中的備用元數(shù)據(jù)服務(wù)進(jìn)程訪(fǎng)問(wèn)存儲(chǔ)服務(wù)器集群；

當(dāng)元數(shù)據(jù)服務(wù)器處于離線(xiàn)狀態(tài)時(shí)，日志服務(wù)器根據(jù)從元數(shù)據(jù)服務(wù)器備份的元數(shù)據(jù)信息及同步的操作日志，恢復(fù)出最新的元數(shù)據(jù)信息，訪(fǎng)問(wèn)客戶(hù)端通過(guò)日志服務(wù)器訪(fǎng)問(wèn)最新的元數(shù)據(jù)信息；

其中，所述步驟S201包括:

按照預(yù)定規(guī)則將元數(shù)據(jù)信息中包含的數(shù)據(jù)進(jìn)行切分，將所述切分后的數(shù)據(jù)存儲(chǔ)在存儲(chǔ)服務(wù)器集群的若干個(gè)存儲(chǔ)節(jié)點(diǎn)，并由元數(shù)據(jù)服務(wù)器對(duì)所述存儲(chǔ)服務(wù)器集群的各個(gè)存儲(chǔ)節(jié)點(diǎn)的數(shù)據(jù)存儲(chǔ)量及在線(xiàn)狀態(tài)進(jìn)行管理監(jiān)控。

5.如權(quán)利要求4所述的大數(shù)據(jù)存儲(chǔ)訪(fǎng)問(wèn)方法，其特征在于，還包括：

為元數(shù)據(jù)服務(wù)器配置虛擬IP，訪(fǎng)問(wèn)客戶(hù)端通過(guò)虛擬IP登陸所述元數(shù)據(jù)服務(wù)器訪(fǎng)問(wèn)所述存儲(chǔ)服務(wù)器集群。

6.如權(quán)利要求5所述的大數(shù)據(jù)存儲(chǔ)訪(fǎng)問(wèn)方法，其特征在于，執(zhí)行步驟S204之前還包括：

對(duì)元數(shù)據(jù)服務(wù)器進(jìn)行心跳檢測(cè)；

所述步驟S204包括：

當(dāng)元數(shù)據(jù)服務(wù)器處于在線(xiàn)狀態(tài)時(shí)，訪(fǎng)問(wèn)客戶(hù)端通過(guò)虛擬IP登陸元數(shù)據(jù)服務(wù)器訪(fǎng)問(wèn)存儲(chǔ)服務(wù)器集群；當(dāng)元數(shù)據(jù)服務(wù)器處于離線(xiàn)狀態(tài)時(shí)，訪(fǎng)問(wèn)客戶(hù)端通過(guò)虛擬IP登陸日志服務(wù)器，通過(guò)日志服務(wù)器中的備用元數(shù)據(jù)服務(wù)進(jìn)程訪(fǎng)問(wèn)存儲(chǔ)服務(wù)器集群。

7.如權(quán)利要求6所述的大數(shù)據(jù)存儲(chǔ)訪(fǎng)問(wèn)方法，其特征在于，還包括：

當(dāng)所述元數(shù)據(jù)服務(wù)器處于離線(xiàn)狀態(tài)時(shí)，將元數(shù)據(jù)服務(wù)器服務(wù)進(jìn)程及虛擬IP切換至日志服務(wù)器啟動(dòng)，訪(fǎng)問(wèn)客戶(hù)端通過(guò)虛擬IP登陸日志服務(wù)器，通過(guò)日志服務(wù)器中的備用元數(shù)據(jù)服務(wù)進(jìn)程訪(fǎng)問(wèn)存儲(chǔ)服務(wù)器集群。