[發明專利]電網調度控制系統中分布式文件系統的元數據管理方法

有效

• 申請號: 202010196756.3
• 申請日: 2020-03-19
• 公開（公告）號: CN111427862B
• 公開（公告）日: 2022-11-04
• 發明（設計）人: 雷寶龍;張凱;郭海龍;葛以踴;陳鵬;萬書鵬;管荑;彭暉;翟明玉;陸居福;孫衛芳;李慧聰;張強;耿玉杰;馬強;劉彤;易強
• 申請（專利權）人: 國電南瑞科技股份有限公司;國家電網有限公司;國網山東省電力公司;國網電力科學研究院有限公司;南瑞集團有限公司;國電南瑞南京控制系統有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/14
• 代理公司: 南京縱橫知識產權代理有限公司 32224
• 代理人: 張倩倩

1.一種電網調度控制系統中分布式文件系統的元數據管理方法，其特征是：

將元數據分為至少包括文件名稱類和基本屬性類的多類數據，各類數據分別存儲于多個數據塊中，并在內存中建立文件映射；文件名稱類數據包括每個文件或目錄的完整路徑信息，基本屬性類數據包括每個文件或目錄的基本屬性信息；

對于各類數據，分別采用鏈表池方式進行數據塊的管理；單個文件或目錄的文件名稱類數據信息與基本屬性類數據信息在一映射關系鏈表中相互對應；

響應于接收到外部創建元數據文件請求，獲取其中的文件路徑信息，根據所獲取的文件路徑信息查找文件的父目錄在基本屬性類數據中的鏈表序號，在相應鏈表序號下的基本屬性類數據中存儲待創建元數據文件的基本屬性類數據，在文件名稱類數據中創建元數據文件的完整路徑數據，并將元數據文件在文件名稱類數據中的存儲位置與在基本屬性類數據中的存儲位置映射存儲至映射關系鏈表；

響應于接收到外部元數據文件訪問請求，獲取其中的文件名；根據映射關系鏈表中文件名對應的文件名稱類數據與基本屬性類數據之間的映射關系，確定相應的基本屬性信息，進而獲取相應的基本屬性類數據；

創建元數據文件包括：

獲取請求數據中的文件路徑信息，確定待創建元數據文件的父目錄；

根據父目錄的文件名長度和內容，按照預設的文件名稱ID算法，計算父目錄的文件名稱ID1；

對父目錄文件名稱ID1進行散列，得到文件名稱ID1在文件名稱類數據中的散列位置POS1；

從映射關系鏈表中查找POS1對應的基本屬性類數據中的散列位置POS2；

通過POS2獲取父目錄的基本屬性信息及相應的鏈表序號H1；

在文件名稱類數據中創建位置為POS3鏈表序號為H2的文件完整路徑字符串；

在基本屬性類數據中鏈表序號H1下創建位置為POS4的文件基本屬性類數據；

計算創建完成的文件對應的文件名稱ID2，并進行散列，得到散列位置POS5；

將ID2,POS5作為文件在文件名稱類數據與基本屬性類數據中的映射關系，存儲至映射關系鏈表中。

2.根據權利要求1所述的方法，其特征是，所述預設的文件名稱ID算法為循環冗余校驗算法或者MD5算法。

3.根據權利要求1所述的方法，其特征是，元數據分為基本屬性、文件名稱、數據塊和存儲節點四類數據，每類數據按照固定大小劃分為多個數據塊，采用文件映射方式將數據塊從磁盤文件映射到內存中，形成存儲空間；

基本屬性類數據包括文件長度、創建時間、修改時間、類型、數據塊ID、文件名稱長度、文件名稱存儲位置信息；

數據塊類數據包括數據塊ID、長度、校驗碼、存儲位置信息；

存儲節點類數據包括存儲節點名稱、IP地址、機架信息、資源硬件配置信息以及資源利用信息。

4.根據權利要求3所述的方法，其特征是，各類數據分別由資源管理器采用鏈表池方式進行資源分配和回收。

5.根據權利要求4所述的方法，其特征是，創建元數據文件還包括：

在數據塊類數據資源管理中，根據文件長度和數據塊長度計算需要分配的數據塊IDn—IDm；

在存儲節點類數據資源管理器中，根據數據塊副本數量，為每個數據塊分配存儲節點。

6.根據權利要求1或3所述的方法，其特征是，基本屬性類數據中，對于單個目錄，其下所有文件的基本屬性信息及子目錄的基本屬性信息采用鏈表統一管理，鏈表頭信息存儲于該目錄基本屬性中的文件長度信息中。

7.根據權利要求1或3所述的方法，其特征是，對于存儲為N個數據塊的基本屬性類數據，通過鏈表鏈接基本屬性類數據的所有數據塊ID，鏈表頭信息存儲于第N-1個數據塊ID信息中。

8.根據權利要求1或3所述的方法，其特征是，文件名稱類數據中，各文件或目錄的完整路徑信息按照名稱長短，存儲于至少兩種大小不同的存儲切片中。

9.一種電網調度控制系統中分布式文件系統的元數據管理裝置，其特征是：

元數據分為至少包括文件名稱類和基本屬性類的多類數據，各類數據分別存儲于多個數據塊中，并在內存中建立文件映射；文件名稱類數據包括每個文件或目錄的完整路徑信息，基本屬性類數據包括每個文件或目錄的基本屬性信息；

對于各類數據，分別采用鏈表池方式進行數據塊的管理；單個文件或目錄的文件名稱類數據信息與基本屬性類數據信息在一映射關系鏈表中相互對應；

元數據管理裝置包括：

元數據文件創建模塊，被配置用于響應于接收到外部創建元數據文件請求，獲取其中的文件路徑信息，根據所獲取的文件路徑信息查找文件的父目錄在基本屬性類數據中的鏈表序號，在相應鏈表序號下的基本屬性類數據中存儲待創建元數據文件的基本屬性類數據，在文件名稱類數據中創建元數據文件的完整路徑數據，并將元數據文件在文件名稱類數據中的存儲位置與在基本屬性類數據中的存儲位置映射存儲至映射關系鏈表；

以及元數據文件訪問模塊，被配置用于響應于接收到外部元數據文件訪問請求，獲取其中的文件名；根據映射關系鏈表中文件名對應的文件名稱類數據與基本屬性類數據之間的映射關系，確定相應的基本屬性信息，進而獲取相應的基本屬性類數據；

創建元數據文件包括：

獲取請求數據中的文件路徑信息，確定待創建元數據文件的父目錄；

根據父目錄的文件名長度和內容，按照預設的文件名稱ID算法，計算父目錄的文件名稱ID1；

對父目錄文件名稱ID1進行散列，得到文件名稱ID1在文件名稱類數據中的散列位置POS1；

從映射關系鏈表中查找POS1對應的基本屬性類數據中的散列位置POS2；

通過POS2獲取父目錄的基本屬性信息及相應的鏈表序號H1；

在文件名稱類數據中創建位置為POS3鏈表序號為H2的文件完整路徑字符串；

在基本屬性類數據中鏈表序號H1下創建位置為POS4的文件基本屬性類數據；

計算創建完成的文件對應的文件名稱ID2，并進行散列，得到散列位置POS5；

將ID2,POS5作為文件在文件名稱類數據與基本屬性類數據中的映射關系，存儲至映射關系鏈表中。