[發(fā)明專利]一種森林資源空間數(shù)據(jù)的分布式管理方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201711486203.6
• 申請(qǐng)日: 2017-12-29
• 公開(kāi)（公告）號(hào): CN108268614B
• 公開(kāi)（公告）日: 2020-08-18
• 發(fā)明（設(shè)計(jì)）人: 殷君茹;王華;孟潁輝;黃偉;朱付保
• 申請(qǐng)（專利權(quán)）人: 鄭州輕工業(yè)學(xué)院
• 主分類號(hào): G06F16/182
• 分類號(hào): G06F16/182;G06F16/13;G06F16/11
• 代理公司: 深圳市威世博知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44280
• 代理人: 李慶波

1.一種森林資源空間數(shù)據(jù)的分布式管理方法，其特征在于，

構(gòu)建集群系統(tǒng)，基于網(wǎng)絡(luò)互聯(lián)的計(jì)算機(jī)構(gòu)建數(shù)據(jù)集群系統(tǒng)，所述數(shù)據(jù)集群系統(tǒng)包括主節(jié)點(diǎn)計(jì)算機(jī)和多個(gè)從節(jié)點(diǎn)計(jì)算機(jī)，所述主節(jié)點(diǎn)計(jì)算機(jī)和從節(jié)點(diǎn)計(jì)算機(jī)基于Hadoop進(jìn)行數(shù)據(jù)管理；

數(shù)據(jù)轉(zhuǎn)換，將多種數(shù)據(jù)類型的原有森林資源空間數(shù)據(jù)統(tǒng)一轉(zhuǎn)化為JSON數(shù)據(jù)格式，然后再轉(zhuǎn)換輸出為HDFS文件格式的分布式森林資源空間數(shù)據(jù)；所述原有森林資源空間數(shù)據(jù)的類型包括森林資源調(diào)查數(shù)據(jù)、概要統(tǒng)計(jì)數(shù)據(jù)和林地落界數(shù)據(jù)；所述林地落界數(shù)據(jù)包含縣、省、國(guó)家級(jí)各級(jí)尺度或不同比例尺數(shù)據(jù)，又通過(guò)對(duì)不同種類、內(nèi)容、來(lái)源和用戶的業(yè)務(wù)數(shù)據(jù)的轉(zhuǎn)化、提取和挖掘，準(zhǔn)確反映林地資源業(yè)務(wù)數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系；數(shù)據(jù)類型包括面狀矢量數(shù)據(jù)，既包括反映森林資源現(xiàn)狀和變化的屬性信息，也包括反映空間特征的信息；森林資源空間數(shù)據(jù)的數(shù)據(jù)類型包括結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)；

基于Hive軟件使用SerDes將結(jié)構(gòu)化和非結(jié)構(gòu)化的森林資源空間數(shù)據(jù)轉(zhuǎn)換為JSON數(shù)據(jù)格式，進(jìn)一步建立數(shù)據(jù)表，該數(shù)據(jù)表把JSON數(shù)據(jù)格式的森林資源空間數(shù)據(jù)的名稱和地理信息映射為該數(shù)據(jù)表中的列名和邊界形狀，得到HDFS文件格式的數(shù)據(jù)表；

數(shù)據(jù)存儲(chǔ)，將所述HDFS文件在所述主節(jié)點(diǎn)計(jì)算機(jī)和從節(jié)點(diǎn)計(jì)算機(jī)上進(jìn)行分布式存儲(chǔ)；

建立索引，在所述主節(jié)點(diǎn)計(jì)算機(jī)上建立全局索引，以及在所述從節(jié)點(diǎn)計(jì)算機(jī)上建立本地索引；

統(tǒng)計(jì)調(diào)用，建立多種統(tǒng)計(jì)函數(shù)，調(diào)用所述統(tǒng)計(jì)函數(shù)，實(shí)現(xiàn)對(duì)分布式森林資源空間數(shù)據(jù)的統(tǒng)計(jì)分析。

2.根據(jù)權(quán)利要求1所述的森林資源空間數(shù)據(jù)的分布式管理方法，其特征在于，所述主節(jié)點(diǎn)計(jì)算機(jī)和所述從節(jié)點(diǎn)計(jì)算機(jī)之間，以及多個(gè)所述從節(jié)點(diǎn)計(jì)算機(jī)之間無(wú)密碼驗(yàn)證登錄。

3.根據(jù)權(quán)利要求2所述的森林資源空間數(shù)據(jù)的分布式管理方法，其特征在于，所述HDFS文件以大小相等的數(shù)據(jù)塊進(jìn)行存儲(chǔ)。

4.根據(jù)權(quán)利要求3所述的森林資源空間數(shù)據(jù)的分布式管理方法，其特征在于，所述數(shù)據(jù)塊的大小為128Mbit。

5.根據(jù)權(quán)利要求1所述的森林資源空間數(shù)據(jù)的分布式管理方法，其特征在于，在所述數(shù)據(jù)轉(zhuǎn)換中，還包括對(duì)原有的森林資源空間數(shù)據(jù)庫(kù)遷移到所述數(shù)據(jù)集群系統(tǒng)。

6.根據(jù)權(quán)利要求1所述的森林資源空間數(shù)據(jù)的分布式管理方法，其特征在于，在所述建立索引中，還包括在在建立本地索引和全局索引之前先建立分區(qū)。

7.根據(jù)權(quán)利要求6所述的森林資源空間數(shù)據(jù)的分布式管理方法，其特征在于，在所述建立分區(qū)中，包括計(jì)算分區(qū)數(shù)、確定分區(qū)邊界和物理分區(qū)。

8.根據(jù)權(quán)利要求7所述的森林資源空間數(shù)據(jù)的分布式管理方法，其特征在于，在所述建立分區(qū)中，包括步驟：建立統(tǒng)計(jì)函數(shù)、根據(jù)業(yè)務(wù)需求編寫(xiě)HQL語(yǔ)句、把結(jié)果存入新建表格以及將統(tǒng)計(jì)結(jié)果可視化顯示。