[發(fā)明專利]一種基于虛擬數(shù)據(jù)湖的氣象數(shù)據(jù)文件目錄服務(wù)生成方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202211016098.0
• 申請日: 2022-08-24
• 公開（公告）號: CN115484276A
• 公開（公告）日: 2022-12-16
• 發(fā)明（設(shè)計(jì)）人: 劉鑫;何文春;劉媛媛;徐擁軍;倪學(xué)磊;周薇薇;韓同欣;李江濤
• 申請（專利權(quán)）人: 國家氣象信息中心（中國氣象局氣象數(shù)據(jù)中心）
• 主分類號: H04L67/1097
• 分類號: H04L67/1097;H04L67/568;H04L9/40;H04L67/133
• 代理公司: 西安研創(chuàng)天下知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 61239
• 代理人: 王小慧

本發(fā)明公開了一種基于虛擬數(shù)據(jù)湖的氣象數(shù)據(jù)文件目錄服務(wù)生成方法及系統(tǒng)，其中方法包括以下步驟：S1、對虛擬數(shù)據(jù)湖的節(jié)點(diǎn)位置進(jìn)行布設(shè)；S2、管理員對異構(gòu)文件系統(tǒng)相關(guān)信息進(jìn)行配置；S3、管理員通過虛擬數(shù)據(jù)湖服務(wù)端創(chuàng)建對外虛擬服務(wù)目錄，將多套異構(gòu)文件系統(tǒng)中的數(shù)據(jù)聚合形成統(tǒng)一服務(wù)虛擬目錄視圖，實(shí)現(xiàn)數(shù)據(jù)虛擬入湖；S4、在虛擬數(shù)據(jù)湖服務(wù)端創(chuàng)建用戶及用戶所屬分組，并對所屬分組進(jìn)行授權(quán)，授權(quán)完成后，用戶獲得該分組對目錄的讀寫權(quán)限；S5、用戶掛載文件目錄訪問客戶端，用戶可將虛擬數(shù)據(jù)湖服務(wù)端的虛擬文件系統(tǒng)中有權(quán)限目錄直接作為本地存儲進(jìn)行讀寫使用。本發(fā)明能夠解決目前一臺存儲設(shè)備已無法滿足容量的需求的技術(shù)問題。

技術(shù)領(lǐng)域

本發(fā)明屬于大數(shù)據(jù)技術(shù)領(lǐng)域，具體涉及一種基于虛擬數(shù)據(jù)湖的氣象數(shù)據(jù)文件目錄服務(wù)生成方法及系統(tǒng)。

背景技術(shù)

氣象數(shù)據(jù)是開展氣象工作的基礎(chǔ)，而地域范圍廣、時空密度大、種類類型多、時效性強(qiáng)、價值密度高的氣象數(shù)據(jù)資源，尤其是伴隨高分氣象衛(wèi)星發(fā)射、高時空分辨率數(shù)值模式發(fā)展、高探測精度雷達(dá)站的廣泛部署等情況所產(chǎn)生的衛(wèi)星、模式、雷達(dá)等非結(jié)構(gòu)化氣象數(shù)據(jù)對氣象預(yù)報(bào)預(yù)測、應(yīng)對氣候變化、公共氣象服務(wù)以及農(nóng)業(yè)、能源、交通等各行業(yè)應(yīng)用均起到了巨大的支撐保障作用。

氣象數(shù)據(jù)在增長的同時其存儲系統(tǒng)還需滿足應(yīng)用對存儲時效和數(shù)據(jù)的分級存儲需求，就目前存儲技術(shù)而言，單獨(dú)一臺存儲設(shè)備已無法滿足此容量的需求，多樣異構(gòu)存儲系統(tǒng)的復(fù)雜性使氣象數(shù)據(jù)底層存儲集約化管理面臨巨大的挑戰(zhàn)；尤其是面對需要長歷史序列氣象數(shù)據(jù)的科學(xué)分析研究，如氣候變化預(yù)測和氣象數(shù)據(jù)挖掘分析等應(yīng)用場景需求的擴(kuò)大，數(shù)據(jù)訪問服務(wù)已經(jīng)不能夠?yàn)橛脩魺o感知地提供各類數(shù)據(jù)的歷史序列，且并不能夠根據(jù)應(yīng)用場景的不同支持多種數(shù)據(jù)訪問方式，如FTP，S3,CIFS,NFS等。對于非結(jié)構(gòu)化氣象數(shù)據(jù)的使用者而言，以直接訪問目錄方式進(jìn)行數(shù)據(jù)訪問獲取是較為便捷和理想狀態(tài)，所以如何建立一種氣象數(shù)據(jù)文件目錄服務(wù)方式，將非結(jié)構(gòu)化氣象數(shù)據(jù)以更加高效、便捷并且規(guī)范化的文件目錄方式提供給氣象業(yè)務(wù)系統(tǒng)以及科研人員使用具有重大的研究意義。

發(fā)明內(nèi)容

本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種基于虛擬數(shù)據(jù)湖的氣象數(shù)據(jù)文件目錄服務(wù)生成方法及系統(tǒng)。

本發(fā)明的第一個目的是提供一種基于虛擬數(shù)據(jù)湖的氣象數(shù)據(jù)文件目錄服務(wù)生成方法，包括以下步驟：

S1、對虛擬數(shù)據(jù)湖的節(jié)點(diǎn)位置進(jìn)行布設(shè)；

S2、管理員通過虛擬數(shù)據(jù)湖服務(wù)端上的后臺管理服務(wù)系統(tǒng)對異構(gòu)文件系統(tǒng)相關(guān)信息進(jìn)行配置；

S3、管理員通過虛擬數(shù)據(jù)湖服務(wù)端上的后臺管理服務(wù)系統(tǒng)界面創(chuàng)建對外虛擬服務(wù)目錄，將多套異構(gòu)文件系統(tǒng)中的數(shù)據(jù)聚合形成統(tǒng)一的服務(wù)虛擬目錄視圖，實(shí)現(xiàn)數(shù)據(jù)虛擬入湖；

S4、根據(jù)用戶使用需求，在虛擬數(shù)據(jù)湖服務(wù)端上的后臺管理服務(wù)系統(tǒng)創(chuàng)建用戶及用戶所屬分組，并對所屬分組進(jìn)行授權(quán)，授權(quán)完成后，用戶獲得該分組對目錄的讀寫權(quán)限；

S5、用戶掛載虛擬數(shù)據(jù)湖文件目錄訪問客戶端，根據(jù)管理員為該用戶配置的讀寫權(quán)限，用戶可將虛擬數(shù)據(jù)湖服務(wù)端的虛擬文件系統(tǒng)中有權(quán)限目錄直接作為本地存儲進(jìn)行讀寫使用。

優(yōu)選的，步驟S2中，所述相關(guān)信息為存儲類型、讀寫控制、掛載點(diǎn)和網(wǎng)絡(luò)地址。

優(yōu)選的，步驟S4中，所述授權(quán)方式為直接按照目錄層級結(jié)構(gòu)進(jìn)行授權(quán)的方式和按照目錄層級中時間信息實(shí)現(xiàn)按時間段或近期天數(shù)進(jìn)行授權(quán)的方式中的任意一種。

本發(fā)明的第二個目的是提供一種基于虛擬數(shù)據(jù)湖的氣象數(shù)據(jù)文件目錄服務(wù)生成系統(tǒng)，包括虛擬數(shù)據(jù)湖服務(wù)端和虛擬數(shù)據(jù)湖文件目錄訪問客戶端；

所述虛擬數(shù)據(jù)湖服務(wù)端包含worker節(jié)點(diǎn)和master節(jié)點(diǎn)，所述master節(jié)點(diǎn)用于集群狀態(tài)和元數(shù)據(jù)管理，worker節(jié)點(diǎn)用于負(fù)責(zé)處理文件系統(tǒng)的讀寫操作請求；