[發明專利]一種基于虛擬數據湖的氣象數據文件目錄服務生成方法及系統

在審

• 申請號: 202211016098.0
• 申請日: 2022-08-24
• 公開（公告）號: CN115484276A
• 公開（公告）日: 2022-12-16
• 發明（設計）人: 劉鑫;何文春;劉媛媛;徐擁軍;倪學磊;周薇薇;韓同欣;李江濤
• 申請（專利權）人: 國家氣象信息中心（中國氣象局氣象數據中心）
• 主分類號: H04L67/1097
• 分類號: H04L67/1097;H04L67/568;H04L9/40;H04L67/133
• 代理公司: 西安研創天下知識產權代理事務所(普通合伙) 61239
• 代理人: 王小慧

1.一種基于虛擬數據湖的氣象數據文件目錄服務生成方法，其特征在于，包括以下步驟：

S1、對虛擬數據湖的節點位置進行布設；

S2、管理員通過虛擬數據湖服務端上的后臺管理服務系統對異構文件系統相關信息進行配置；

S3、管理員通過虛擬數據湖服務端上的后臺管理服務系統界面創建對外虛擬服務目錄，將多套異構文件系統中的數據聚合形成統一的服務虛擬目錄視圖，實現數據虛擬入湖；

S4、根據用戶使用需求，在虛擬數據湖服務上的后臺管理服務系統創建用戶及用戶所屬分組，并對所屬分組進行授權，授權完成后，用戶獲得該分組對目錄的讀寫權限；

S5、用戶掛載虛擬數據湖文件目錄訪問客戶端，根據管理員為該用戶配置的讀寫權限，用戶可將虛擬數據湖服務端的虛擬文件系統中有權限目錄直接作為本地存儲進行讀寫使用。

2.如權利要求1所述的基于虛擬數據湖的氣象數據文件目錄服務生成方法，其特征在于，步驟S2中，所述相關信息為存儲類型、讀寫控制、掛載點和網絡地址。

3.如權利要求1所述的基于虛擬數據湖的氣象數據文件目錄服務生成方法，其特征在于，步驟S4中，所述授權方式為直接按照目錄層級結構進行授權的方式和按照目錄層級中時間信息實現按時間段或近期天數進行授權的方式中的任意一種。

4.一種基于虛擬數據湖的氣象數據文件目錄服務生成系統，其特征在于，包括虛擬數據湖服務端和虛擬數據湖文件目錄訪問客戶端；

所述虛擬數據湖服務端包含worker節點和master節點，所述master節點用于集群狀態和元數據管理，worker節點用于負責處理文件系統的讀寫操作請求；

所述虛擬數據湖文件目錄訪問客戶端，用于將虛擬文件系統掛載到用戶端服務器，通過調用虛擬數據湖worker節點提供的文件共享接口，實現將遠端的虛擬文件系統掛載到本地的文件系統。

5.如權利要求4所述的基于虛擬數據湖的氣象數據文件目錄服務生成系統，其特征在于，所述master節點包含后臺管理服務系統和元數據服務模塊，所述后臺管理服務系統用于負責異構文件系統統一管理與服務，系統日志審計及用戶行為記錄可視化分析；所述元數據服務模塊用于負責系統元數據信息存儲，并將元數據信息同步給worker節點。

6.如權利要求4所述的基于虛擬數據湖的氣象數據文件目錄服務生成系統，其特征在于，所述worker節點包含存儲接入服務模塊、文件塊緩存服務模塊、虛擬文件系統服務模塊和文件共享服務模塊，所述存儲接入服務模塊用于負責適配異構存儲系統，集成各種后端存儲，所述文件塊緩存服務模塊用于負責在讀寫后端存儲系統的文件后緩存數據，所述虛擬文件系統服務模塊用于負責管理虛擬文件系統與后端存儲的數據讀寫管理和用戶權限校驗，所述文件共享服務模塊用于負責對外提供文件訪問接口。