[發(fā)明專(zhuān)利]一種多維空間氣象網(wǎng)格數(shù)據(jù)分布式存儲(chǔ)查詢(xún)方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202310087591.X
• 申請(qǐng)日: 2023-02-09
• 公開(kāi)（公告）號(hào): CN116126942A
• 公開(kāi)（公告）日: 2023-05-16
• 發(fā)明（設(shè)計(jì)）人: 楊明;鄭波;徐擁軍;倪學(xué)磊;王舒;劉媛媛;王琦;周薇薇
• 申請(qǐng)（專(zhuān)利權(quán)）人: 國(guó)家氣象信息中心（中國(guó)氣象局氣象數(shù)據(jù)中心）
• 主分類(lèi)號(hào): G06F16/2458
• 分類(lèi)號(hào): G06F16/2458;G06F16/22;G06F16/27
• 代理公司: 西安研創(chuàng)天下知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 61239
• 代理人: 王小慧

本發(fā)明提出了一種多維空間氣象網(wǎng)格數(shù)據(jù)分布式存儲(chǔ)查詢(xún)方法及系統(tǒng)，其包括：步驟1：構(gòu)建多維空間的網(wǎng)格化數(shù)據(jù)模型；步驟1：構(gòu)建多維空間的網(wǎng)格化數(shù)據(jù)模型；步驟2：基于構(gòu)建的網(wǎng)格化數(shù)據(jù)模型，建立索引與數(shù)據(jù)的對(duì)應(yīng)關(guān)系，將整個(gè)氣象網(wǎng)格數(shù)據(jù)分解為多個(gè)數(shù)據(jù)塊，形成數(shù)據(jù)塊池；步驟3：將模型、索引?數(shù)據(jù)射關(guān)系存儲(chǔ)到索引表，每個(gè)索引對(duì)應(yīng)的數(shù)據(jù)塊存儲(chǔ)到分布式NoSQL數(shù)據(jù)庫(kù)系統(tǒng)的數(shù)據(jù)表；步驟4：通過(guò)計(jì)算和查詢(xún)索引，獲取到索引對(duì)應(yīng)的數(shù)據(jù)塊，合并數(shù)據(jù)塊形成新的網(wǎng)格數(shù)據(jù)集；步驟5：通過(guò)上述步驟，實(shí)現(xiàn)多維空間氣象網(wǎng)格數(shù)據(jù)分布式存儲(chǔ)查詢(xún)系統(tǒng)。

技術(shù)領(lǐng)域

本發(fā)明設(shè)計(jì)氣象服務(wù)技術(shù)領(lǐng)域，具體涉及一種多維空間氣象網(wǎng)格數(shù)據(jù)分布式存儲(chǔ)查詢(xún)方法及系統(tǒng)。

背景技術(shù)

氣象網(wǎng)格數(shù)據(jù)主要包括數(shù)值預(yù)報(bào)、衛(wèi)星、雷達(dá)等數(shù)據(jù)產(chǎn)品，廣泛應(yīng)用于氣象監(jiān)測(cè)、氣象預(yù)報(bào)和氣象服務(wù)等方面，高效的數(shù)據(jù)存儲(chǔ)與查詢(xún)性能對(duì)氣象業(yè)務(wù)和防災(zāi)減災(zāi)，具有非常重要的意義。由于氣象網(wǎng)絡(luò)數(shù)據(jù)具有數(shù)據(jù)量較大、多維等特征，且云計(jì)算技術(shù)已應(yīng)用于氣象大數(shù)據(jù)的存儲(chǔ)和服務(wù)，但氣象網(wǎng)格數(shù)據(jù)的存儲(chǔ)和服務(wù)一直采用整塊存儲(chǔ)與服務(wù)，沒(méi)有充分考慮到氣象網(wǎng)格數(shù)據(jù)的多維和分布式等特征，從而導(dǎo)致存儲(chǔ)和服務(wù)效率仍遠(yuǎn)不能滿(mǎn)足大數(shù)據(jù)的要求，缺乏統(tǒng)一的存儲(chǔ)結(jié)構(gòu)，因此目前的對(duì)氣象網(wǎng)格數(shù)據(jù)的存儲(chǔ)和服務(wù)存在可擴(kuò)展性差以及服務(wù)性能差的問(wèn)題。

傳統(tǒng)的氣象網(wǎng)格數(shù)據(jù)存儲(chǔ)方法采用按照一定的格式整塊存儲(chǔ)和服務(wù)的方法，其將網(wǎng)格數(shù)據(jù)按照一定的格式(常見(jiàn)有Grib格式、Netcdf或自定義格式)整塊存儲(chǔ)為文件或存儲(chǔ)到非結(jié)構(gòu)化數(shù)據(jù)庫(kù)，該方法應(yīng)用較廣泛且簡(jiǎn)單，但是由于其存儲(chǔ)特性，讀取的數(shù)據(jù)量為整塊數(shù)據(jù)，這導(dǎo)致網(wǎng)絡(luò)傳輸花費(fèi)大和查詢(xún)效率低下，難以滿(mǎn)足氣象大數(shù)據(jù)的高性能、高并發(fā)存儲(chǔ)和服務(wù)需求，氣象數(shù)據(jù)的傳統(tǒng)存儲(chǔ)和服務(wù)方法在實(shí)時(shí)大數(shù)據(jù)存儲(chǔ)、實(shí)時(shí)處理和服務(wù)方面遇到了許多挑戰(zhàn)。因此，如何有效地實(shí)現(xiàn)氣象數(shù)據(jù)的傳輸、存儲(chǔ)和服務(wù)已成為一個(gè)亟待解決的問(wèn)題。

發(fā)明內(nèi)容

針對(duì)上述存在的問(wèn)題，本發(fā)明提出了一種多維空間氣象網(wǎng)格數(shù)據(jù)分布式存儲(chǔ)查詢(xún)方法及系統(tǒng)，將氣象網(wǎng)格數(shù)據(jù)通過(guò)構(gòu)建網(wǎng)格數(shù)據(jù)模型、建立索引數(shù)據(jù)關(guān)系，按照建立的模型和索引分解數(shù)據(jù)塊，存儲(chǔ)到不同的分布式存儲(chǔ)節(jié)點(diǎn)；通過(guò)計(jì)算和查詢(xún)索引，讀取對(duì)應(yīng)的部分?jǐn)?shù)據(jù)，形成新的數(shù)據(jù)集，實(shí)現(xiàn)了數(shù)據(jù)的高效存儲(chǔ)與查詢(xún)目的。

實(shí)現(xiàn)本發(fā)明目的的技術(shù)解決方案為：

一種多維空間氣象網(wǎng)格數(shù)據(jù)分布式存儲(chǔ)查詢(xún)方法，其特征在于，包括以下步驟：

步驟1：構(gòu)建多維空間的網(wǎng)格化數(shù)據(jù)模型；

步驟2：基于構(gòu)建的網(wǎng)格化數(shù)據(jù)模型，建立索引與數(shù)據(jù)的對(duì)應(yīng)關(guān)系，將整個(gè)氣象網(wǎng)格數(shù)據(jù)分解為多個(gè)數(shù)據(jù)塊，形成數(shù)據(jù)塊池；

步驟3：將模型、索引-數(shù)據(jù)射關(guān)系存儲(chǔ)到索引表，每個(gè)索引對(duì)應(yīng)的數(shù)據(jù)塊存儲(chǔ)到分布式NoSQL數(shù)據(jù)庫(kù)系統(tǒng)的數(shù)據(jù)表；

步驟4：通過(guò)計(jì)算和查詢(xún)索引，獲取到索引對(duì)應(yīng)的數(shù)據(jù)，合并數(shù)據(jù)塊形成新的網(wǎng)格數(shù)據(jù)集。

進(jìn)一步地，步驟1構(gòu)建的網(wǎng)格化數(shù)據(jù)模型包括表空間結(jié)構(gòu)、表結(jié)構(gòu)、行結(jié)構(gòu)、主鍵結(jié)構(gòu)、列結(jié)構(gòu)、主鍵類(lèi)型、列數(shù)據(jù)類(lèi)型，其中表空間結(jié)構(gòu)包括名稱(chēng)、描述、表集合屬性；表結(jié)構(gòu)包括名稱(chēng)、行集、數(shù)據(jù)存活時(shí)間、描述；行結(jié)構(gòu)包括主鍵集、列集、描述；主鍵結(jié)構(gòu)包括名稱(chēng),類(lèi)型、主鍵值；列結(jié)構(gòu)包括名稱(chēng)、類(lèi)型、列值；主鍵類(lèi)型分為字符串、長(zhǎng)整型、日期型、雙浮點(diǎn)型、整型和集合；列數(shù)據(jù)類(lèi)型包括字符串、長(zhǎng)整型、日期型、雙浮點(diǎn)型、整型、集合、數(shù)組、二進(jìn)制、布爾型、單浮點(diǎn)型、鍵值型和集合型；

所述主鍵結(jié)構(gòu)包括一組主鍵列；

所述列結(jié)構(gòu)包括數(shù)據(jù)列和屬性列，所述數(shù)據(jù)列包括：索引表存儲(chǔ)索引-數(shù)據(jù)射關(guān)系值以及數(shù)據(jù)表存儲(chǔ)索引對(duì)應(yīng)的數(shù)據(jù)塊；屬性列包括網(wǎng)格經(jīng)緯度范圍、格距、產(chǎn)品制作者、制作時(shí)間信息，用于存儲(chǔ)網(wǎng)格數(shù)據(jù)的屬性信息。

進(jìn)一步地，步驟2的具體操作步驟包括：