[發(fā)明專利]電網(wǎng)調(diào)度控制系統(tǒng)中分布式文件系統(tǒng)的元數(shù)據(jù)管理方法

有效

• 申請?zhí)枺?/td>: 202010196756.3
• 申請日: 2020-03-19
• 公開（公告）號: CN111427862B
• 公開（公告）日: 2022-11-04
• 發(fā)明（設(shè)計）人: 雷寶龍;張凱;郭海龍;葛以踴;陳鵬;萬書鵬;管荑;彭暉;翟明玉;陸居福;孫衛(wèi)芳;李慧聰;張強;耿玉杰;馬強;劉彤;易強
• 申請（專利權(quán)）人: 國電南瑞科技股份有限公司;國家電網(wǎng)有限公司;國網(wǎng)山東省電力公司;國網(wǎng)電力科學(xué)研究院有限公司;南瑞集團有限公司;國電南瑞南京控制系統(tǒng)有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/14
• 代理公司: 南京縱橫知識產(chǎn)權(quán)代理有限公司 32224
• 代理人: 張倩倩

本發(fā)明公開一種電網(wǎng)調(diào)度控制系統(tǒng)中分布式文件系統(tǒng)的元數(shù)據(jù)管理方法，通過將分布式文件系統(tǒng)系統(tǒng)元數(shù)據(jù)分為基本屬性、文件名稱等多類數(shù)據(jù)，并采用鏈表管理目錄下的所有文件與子目錄，保持文件系統(tǒng)的層次關(guān)系，同時通過建立文件名與文件基本屬性之間的映射關(guān)系，實現(xiàn)通過文件名完整路徑即可快速定位文件基本屬性數(shù)據(jù)。訪問文件時，查找過程能夠在O(1)復(fù)雜度下完成，提高了文件元數(shù)據(jù)訪問性能。因此利用本發(fā)明能夠提高電網(wǎng)調(diào)度控制系統(tǒng)中分布式文件訪問性能，減少數(shù)據(jù)訪問耗時以及元數(shù)據(jù)對內(nèi)存的過多占用，滿足電網(wǎng)調(diào)度控制系統(tǒng)文件訪問實時性需求，并較好的適應(yīng)內(nèi)存資源受限的使用環(huán)境。

技術(shù)領(lǐng)域

本發(fā)明涉及電網(wǎng)調(diào)度控制系統(tǒng)中的數(shù)據(jù)處理技術(shù)領(lǐng)域，特別是一種電網(wǎng)調(diào)度控制系統(tǒng)中分布式文件系統(tǒng)的元數(shù)據(jù)扁平化管理方法。

背景技術(shù)

分布式文件系統(tǒng)是將分散的存儲節(jié)點連接起來形成遠(yuǎn)超過單個存儲節(jié)點容量的共享文件系統(tǒng)，允許通過網(wǎng)絡(luò)共享存儲在多個節(jié)點上的文件數(shù)據(jù)和存儲空間，極大提高存儲容量和文件訪問吞吐量，并具備高可靠性和彈性擴展能力。

電網(wǎng)調(diào)度控制自動化系統(tǒng)中采用分布式文件系統(tǒng)存儲圖形文件、電網(wǎng)斷面文件、報表文件、運行方式數(shù)據(jù)等。分布式文件系統(tǒng)主要包括元數(shù)據(jù)管理和文件數(shù)據(jù)管理兩大部分，其中元數(shù)據(jù)管理部分主要管理文件名稱、創(chuàng)建時間、文件大小等基本屬性，以及文件存儲位置、文件層次關(guān)系等信息，元數(shù)據(jù)是用來描述一個文件的特征的系統(tǒng)數(shù)據(jù)，整個分布式文件系統(tǒng)的訪問入口。

現(xiàn)有的開源分布式文件系統(tǒng)HDFS中采用層次關(guān)系模式管理元數(shù)據(jù)信息，每個文件或目錄占用一個元數(shù)據(jù)存儲單元，每個文件存儲單元中包括文件名、文件大小、創(chuàng)建時間、修改時間等基本屬性，采用固定長度數(shù)組存儲文件名稱，每個目錄存儲單元含有一個有序數(shù)組，存放該目錄下的所有文件和目錄元數(shù)據(jù)。在這種元數(shù)據(jù)管理方式下，每次查找文件時，需要從根目錄開始逐個層次查找，每個層次采用二分查找算法找到對應(yīng)的子目錄，直到找到目標(biāo)文件或目錄，如圖1所示，假設(shè)時間復(fù)雜度為O(log2n)，當(dāng)文件位置為m級層次時，總時間復(fù)雜度為m × O(log2n)。

電網(wǎng)調(diào)度控制系統(tǒng)中對系統(tǒng)實時性、穩(wěn)定性要求非常高，但現(xiàn)有的開源分布式文件系統(tǒng)HDFS把整個文件系統(tǒng)的所有元數(shù)據(jù)全部放在內(nèi)存中，顯然并未考慮電網(wǎng)調(diào)度控制系統(tǒng)應(yīng)用場景，存在的缺點主要有兩方面：一是逐級查找文件耗時較長，特別是當(dāng)文件所處層次較深、文件數(shù)量較多時，元數(shù)據(jù)查找會占用大量時間，降低系統(tǒng)并發(fā)度，增加文件訪問延遲時間；二是所有元數(shù)據(jù)全部放在內(nèi)存中，當(dāng)系統(tǒng)文件數(shù)量較多時，會占用非常多的內(nèi)存資源，影響系統(tǒng)中其他功能模塊運行。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種電網(wǎng)調(diào)度控制系統(tǒng)中分布式文件系統(tǒng)的元數(shù)據(jù)扁平化管理方法，減少數(shù)據(jù)訪問耗時以及元數(shù)據(jù)對內(nèi)存的過多占用，提高電網(wǎng)調(diào)度控制系統(tǒng)的實時性和可靠性。

本發(fā)明采用的技術(shù)方案如下：一種電網(wǎng)調(diào)度控制系統(tǒng)中分布式文件系統(tǒng)的元數(shù)據(jù)管理方法，包括：

將元數(shù)據(jù)分為至少包括文件名稱類和基本屬性類的多類數(shù)據(jù)，各類數(shù)據(jù)分別存儲于多個數(shù)據(jù)塊中，并在內(nèi)存中建立文件映射；文件名稱類數(shù)據(jù)包括每個文件或目錄的完整路徑信息，基本屬性類數(shù)據(jù)包括每個文件或目錄的基本屬性信息；

對于各類數(shù)據(jù)，分別采用鏈表池方式進行數(shù)據(jù)塊的管理；單個文件或目錄的文件名稱類數(shù)據(jù)信息與基本屬性類數(shù)據(jù)信息在一映射關(guān)系鏈表中相互對應(yīng)；

響應(yīng)于接收到外部創(chuàng)建元數(shù)據(jù)文件請求，獲取其中的文件路徑信息，根據(jù)所獲取的文件路徑信息查找文件的父目錄在基本屬性類數(shù)據(jù)中的鏈表序號，在相應(yīng)鏈表序號下的基本屬性類數(shù)據(jù)中存儲待創(chuàng)建元數(shù)據(jù)文件的基本屬性類數(shù)據(jù)，在文件名稱類數(shù)據(jù)中創(chuàng)建元數(shù)據(jù)文件的完整路徑數(shù)據(jù)，并將元數(shù)據(jù)文件在文件名稱類數(shù)據(jù)中的存儲位置與在基本屬性類數(shù)據(jù)中的存儲位置映射存儲至映射關(guān)系鏈表；

響應(yīng)于接收到外部元數(shù)據(jù)文件訪問請求，獲取其中的文件名；根據(jù)映射關(guān)系鏈表中文件名對應(yīng)的文件名稱類數(shù)據(jù)與基本屬性類數(shù)據(jù)之間的映射關(guān)系，確定相應(yīng)的基本屬性信息，進而獲取相應(yīng)的基本屬性類數(shù)據(jù)。