[發(fā)明專(zhuān)利]分布式文件系統(tǒng)的元數(shù)據(jù)動(dòng)態(tài)管理方法及分布式文件系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011586836.6
• 申請(qǐng)日: 2020-12-29
• 公開(kāi)（公告）號(hào): CN112579543A
• 公開(kāi)（公告）日: 2021-03-30
• 發(fā)明（設(shè)計(jì)）人: 馬俊杰;蘇帥;蘇玉嬌;瞿秋薏;姜瀚;付慧慧;付長(zhǎng)杰;劉曦冉;黃亞杰;晉晨;叢峰日
• 申請(qǐng)（專(zhuān)利權(quán)）人: 航天科工網(wǎng)絡(luò)信息發(fā)展有限公司
• 主分類(lèi)號(hào): G06F16/16
• 分類(lèi)號(hào): G06F16/16;G06F16/182;G06F16/174;H04L29/08
• 代理公司: 中國(guó)兵器工業(yè)集團(tuán)公司專(zhuān)利中心 11011
• 代理人: 辛海明

本發(fā)明涉及一種分布式文件系統(tǒng)的元數(shù)據(jù)動(dòng)態(tài)管理方法及分布式文件系統(tǒng)，屬于分布式計(jì)算機(jī)領(lǐng)域。本發(fā)明在元數(shù)據(jù)服務(wù)器集群中選擇多臺(tái)服務(wù)器作為前置服務(wù)器以構(gòu)成前置元數(shù)據(jù)服務(wù)器集群，元數(shù)據(jù)服務(wù)器集群中的其余元數(shù)據(jù)服務(wù)器構(gòu)成非前置元數(shù)據(jù)服務(wù)器集群；客戶(hù)端發(fā)起的所有的元數(shù)據(jù)讀寫(xiě)請(qǐng)求，均由前置元數(shù)據(jù)服務(wù)器集群統(tǒng)一處理，且寫(xiě)請(qǐng)求中的元數(shù)據(jù)僅保存在前置元數(shù)據(jù)服務(wù)器集群的內(nèi)存中；啟動(dòng)前置服務(wù)器；處理客戶(hù)端的元數(shù)據(jù)讀寫(xiě)請(qǐng)求。本發(fā)明能夠提供對(duì)元數(shù)據(jù)的高速訪問(wèn)，降低對(duì)分布式系統(tǒng)的負(fù)載，實(shí)現(xiàn)較好的負(fù)載均衡。

技術(shù)領(lǐng)域

本發(fā)明屬于分布式計(jì)算機(jī)技術(shù)領(lǐng)域，具體涉及一種分布式文件系統(tǒng)的元數(shù)據(jù)動(dòng)態(tài)管理方法及分布式文件系統(tǒng)。

背景技術(shù)

隨著互聯(lián)網(wǎng)信息化技術(shù)的不斷發(fā)展，存儲(chǔ)系統(tǒng)正隨著數(shù)據(jù)量的增加日益重要。分布式文件系統(tǒng)以高容錯(cuò)性、高并發(fā)性、高可擴(kuò)展性的特點(diǎn)，順應(yīng)信息指數(shù)級(jí)增長(zhǎng)的趨勢(shì)，得到了存儲(chǔ)廠商和從業(yè)人員的重視。

分布式文件系統(tǒng)中主要管理兩類(lèi)數(shù)據(jù)，一類(lèi)是用戶(hù)的數(shù)據(jù)，一類(lèi)被稱(chēng)為元數(shù)據(jù)，即用于管理和索引用戶(hù)數(shù)據(jù)的數(shù)據(jù)。用戶(hù)的數(shù)據(jù)的訪問(wèn)特點(diǎn)偏存儲(chǔ)密集型，而元數(shù)據(jù)的訪問(wèn)特點(diǎn)偏計(jì)算密集型。所以一般來(lái)說(shuō)，分布式文件系統(tǒng)會(huì)將這兩類(lèi)數(shù)據(jù)獨(dú)立管理和存儲(chǔ)，其中存儲(chǔ)用戶(hù)數(shù)據(jù)的組件稱(chēng)為數(shù)據(jù)服務(wù)器，存儲(chǔ)元數(shù)據(jù)的組件稱(chēng)為元數(shù)據(jù)服務(wù)器。

為了使整個(gè)分布式文件系統(tǒng)具有更強(qiáng)的容錯(cuò)能力和更高的并行訪問(wèn)能力，分布式文件系統(tǒng)分別使用多個(gè)節(jié)點(diǎn)構(gòu)建數(shù)據(jù)服務(wù)器集群和元數(shù)據(jù)服務(wù)器集群。由于對(duì)元數(shù)據(jù)的頻繁訪問(wèn)，動(dòng)態(tài)負(fù)載不均的問(wèn)題經(jīng)常出現(xiàn)，導(dǎo)致系統(tǒng)響應(yīng)速度變慢甚至?xí)霈F(xiàn)系統(tǒng)不穩(wěn)定的問(wèn)題。

為解決上述問(wèn)題，本發(fā)明提供了一種分布式文件系統(tǒng)，能夠提供對(duì)元數(shù)據(jù)的高速訪問(wèn)，且能夠?qū)崿F(xiàn)較好的負(fù)載均衡。

發(fā)明內(nèi)容

(一)要解決的技術(shù)問(wèn)題

本發(fā)明要解決的技術(shù)問(wèn)題是如何提供一種分布式文件系統(tǒng)的元數(shù)據(jù)動(dòng)態(tài)管理方法及分布式文件系統(tǒng)，以解決現(xiàn)有的分布式文件系統(tǒng)的響應(yīng)速度變慢甚至?xí)霈F(xiàn)系統(tǒng)不穩(wěn)定等方面的問(wèn)題。

(二)技術(shù)方案

為了解決上述技術(shù)問(wèn)題，本發(fā)明提出一種分布式文件系統(tǒng)的元數(shù)據(jù)動(dòng)態(tài)管理方法，該方法包括如下步驟：

S1.在元數(shù)據(jù)服務(wù)器集群中選擇多臺(tái)服務(wù)器作為前置服務(wù)器以構(gòu)成前置元數(shù)據(jù)服務(wù)器集群，元數(shù)據(jù)服務(wù)器集群中的其余元數(shù)據(jù)服務(wù)器構(gòu)成非前置元數(shù)據(jù)服務(wù)器集群；客戶(hù)端發(fā)起的所有的元數(shù)據(jù)讀寫(xiě)請(qǐng)求，均由前置元數(shù)據(jù)服務(wù)器集群統(tǒng)一處理，且寫(xiě)請(qǐng)求中的元數(shù)據(jù)僅保存在前置元數(shù)據(jù)服務(wù)器集群的內(nèi)存中；

S2.啟動(dòng)前置服務(wù)器；

S3.處理客戶(hù)端的元數(shù)據(jù)讀寫(xiě)請(qǐng)求。

進(jìn)一步地，步驟S2包括：

S201.預(yù)處理：為前置服務(wù)器設(shè)定配置文件；

S202.前置服務(wù)器初始化：根據(jù)配置文件，每臺(tái)前置服務(wù)器與其他前置服務(wù)器互相通信自動(dòng)組成前置元數(shù)據(jù)服務(wù)器集群；

其中，配置文件中包含兩類(lèi)通信地址和端口，一類(lèi)用于前置服務(wù)器之間的通信，另一類(lèi)用于與用戶(hù)側(cè)的客戶(hù)端通信。

進(jìn)一步地，還包括步驟S203：前置服務(wù)器選舉出主前置服務(wù)器。

進(jìn)一步地，步驟S3處理客戶(hù)端的元數(shù)據(jù)讀寫(xiě)請(qǐng)求包括：

S301.前置服務(wù)器處理元數(shù)據(jù)寫(xiě)請(qǐng)求：客戶(hù)端與任意一個(gè)前置服務(wù)器的連接，發(fā)起元數(shù)據(jù)寫(xiě)請(qǐng)求，前置元數(shù)據(jù)服務(wù)器集群接收到客戶(hù)端發(fā)起的元數(shù)據(jù)寫(xiě)請(qǐng)求后，按照下述流程處理：

如果客戶(hù)端連接的是主前置服務(wù)器，則由主前置服務(wù)器進(jìn)行寫(xiě)操作；

如果客戶(hù)端連接的不是主前置服務(wù)器，則由該前置服務(wù)器自動(dòng)轉(zhuǎn)發(fā)該元數(shù)據(jù)寫(xiě)請(qǐng)求至主前置服務(wù)器進(jìn)行寫(xiě)操作。