[發(fā)明專利]一種農(nóng)業(yè)生態(tài)多源異構(gòu)大數(shù)據(jù)采集、處理與分析架構(gòu)

在審

• 申請(qǐng)?zhí)枺?/td>: 201810174947.2
• 申請(qǐng)日: 2018-03-02
• 公開（公告）號(hào): CN108287926A
• 公開（公告）日: 2018-07-17
• 發(fā)明（設(shè)計(jì)）人: 宋啟祥;崔琳;張志偉;邱慧麗;吳孝銀;談成訪;潘正高
• 申請(qǐng)（專利權(quán)）人: 宿州學(xué)院
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30;G06Q10/04;G06Q50/02
• 代理公司: 西安銘澤知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 61223
• 代理人: 韓曉娟

1.一種農(nóng)業(yè)生態(tài)多源異構(gòu)大數(shù)據(jù)采集、處理與分析架構(gòu)，其特征在于，包括數(shù)據(jù)獲取模塊(1)，所述數(shù)據(jù)獲取模塊(1)與數(shù)據(jù)存儲(chǔ)模塊(2)電連接，所述數(shù)據(jù)存儲(chǔ)模塊(2)與數(shù)據(jù)預(yù)處理模塊(3)電連接，所述數(shù)據(jù)預(yù)處理模塊(3)與數(shù)據(jù)特征提取模塊(4)電連接，所述數(shù)據(jù)特征提取模塊(4)與并行挖掘與分析模塊(5)電連接，所述并行挖掘與分析模塊(5)與環(huán)境預(yù)測(cè)與展示模塊(6)電連接；

所述數(shù)據(jù)獲取模塊(1)包括衛(wèi)星遙感模塊(7)、航空遙感模塊(8)、無人機(jī)采集遙感信息模塊(9)和布置傳感網(wǎng)模塊(10)，所述衛(wèi)星遙感模塊(7)是通過衛(wèi)星遙感來獲取觀測(cè)地區(qū)農(nóng)業(yè)的數(shù)據(jù)信息，所述航空遙感模塊(8)是通過各種飛機(jī)、飛艇和氣球作為傳感器運(yùn)載工具在空中獲取觀測(cè)地區(qū)農(nóng)業(yè)的數(shù)據(jù)信息，所述無人機(jī)采集遙感信息模塊(9)是通過無人機(jī)內(nèi)的傳感器獲取目標(biāo)物的電磁波信息，從而獲取觀測(cè)地區(qū)農(nóng)業(yè)的數(shù)據(jù)信息，所述布置傳感網(wǎng)模塊(10)是通過在地面布置傳感器網(wǎng)絡(luò)來獲取觀測(cè)地區(qū)農(nóng)業(yè)的數(shù)據(jù)信息；

所述數(shù)據(jù)存儲(chǔ)模塊(2)包括HDFS模塊(11)、Hive模塊(12)和MySQL模塊(13)，所述HDFS模塊(11)是Hadoop分布式文件系統(tǒng)，具有高容錯(cuò)性的特點(diǎn)，并且部署在低廉的硬件上，同時(shí)放寬了POSIX的要求，可以以流的形式訪問文件系統(tǒng)中的數(shù)據(jù)，所述Hive模塊(12)是基于所述HDFS模塊(11)的一種可以存儲(chǔ)、查詢和分析存儲(chǔ)在Hadoop中大規(guī)模數(shù)據(jù)的機(jī)制，所述MySQL模塊(13)是一個(gè)開放源碼的小型關(guān)聯(lián)式數(shù)據(jù)庫(kù)管理系統(tǒng)；

所述數(shù)據(jù)預(yù)處理模塊(3)包括數(shù)據(jù)清洗模塊(14)、幾何校正模塊(15)、數(shù)據(jù)融合模塊(16)、去云及陰影處理模塊(17)和大氣校正模塊(18)，所述數(shù)據(jù)清洗模塊(14)是發(fā)現(xiàn)并糾正數(shù)據(jù)文件中可識(shí)別的錯(cuò)誤的最后一道程序，包括檢查數(shù)據(jù)一致性，處理無效值和缺失值，所述幾何校正模塊(15)用于消除或改正遙感影像的幾何誤差，所述數(shù)據(jù)融合模塊(16)是將多傳感器信息源的數(shù)據(jù)和信息加以聯(lián)合、相關(guān)及組合，以便獲得更為精確的位置估計(jì)和身份估計(jì)，從而實(shí)現(xiàn)對(duì)戰(zhàn)場(chǎng)態(tài)勢(shì)和威脅以及其重要程度的實(shí)時(shí)完整評(píng)價(jià)，所述去云及陰影處理模塊(17)用于對(duì)遙感影像進(jìn)行處理，達(dá)到去云和陰影的目的，所述大氣校正模塊(18)用于消除遙感影像中由大氣散射和吸收引起的輻射誤差；

所述數(shù)據(jù)特征提取模塊(4)包括土壤數(shù)據(jù)特征提取模塊(19)、氣象觀測(cè)數(shù)據(jù)特征提取模塊(20)、水文觀測(cè)數(shù)據(jù)特征提取模塊(21)和農(nóng)作物生產(chǎn)數(shù)據(jù)特征提取模塊(22)，所述土壤數(shù)據(jù)特征提取模塊(19)用于對(duì)觀測(cè)地區(qū)內(nèi)的土壤數(shù)據(jù)信息進(jìn)行特征提取，所述氣象觀測(cè)數(shù)據(jù)特征提取模塊(20)用于對(duì)觀測(cè)地區(qū)內(nèi)的氣象數(shù)據(jù)信息進(jìn)行特征提取，所述水文觀測(cè)數(shù)據(jù)特征提取模塊(21)用于對(duì)觀測(cè)地區(qū)內(nèi)的水文數(shù)據(jù)信息進(jìn)行特征提取，所述農(nóng)作物生產(chǎn)數(shù)據(jù)特征提取模塊(22)用于對(duì)觀測(cè)地區(qū)內(nèi)的農(nóng)作物生產(chǎn)數(shù)據(jù)信息進(jìn)行特征提取；

所述并行挖掘與分析模塊(5)包括大數(shù)據(jù)降維技術(shù)模塊(23)、時(shí)間空間數(shù)據(jù)分析模塊(24)和分布式大數(shù)據(jù)查詢模塊(25)，所述大數(shù)據(jù)降維技術(shù)模塊(23)用于對(duì)農(nóng)業(yè)生態(tài)的大數(shù)據(jù)使用主成分分析方法進(jìn)行降維處理，所述時(shí)間空間數(shù)據(jù)分析模塊(24)用于通過對(duì)觀測(cè)地區(qū)的時(shí)空大數(shù)據(jù)使用機(jī)器學(xué)習(xí)算法和深度學(xué)習(xí)算法，從而對(duì)農(nóng)業(yè)生態(tài)的時(shí)空大數(shù)據(jù)進(jìn)行深入地挖掘與分析，所述分布式大數(shù)據(jù)查詢模塊(25)用于對(duì)農(nóng)業(yè)生態(tài)多源異構(gòu)大數(shù)據(jù)采用分布式大數(shù)據(jù)查詢方法進(jìn)行查詢；

所述環(huán)境預(yù)測(cè)與展示模塊(6)包括農(nóng)作物長(zhǎng)勢(shì)預(yù)測(cè)模塊(26)、農(nóng)作物產(chǎn)量預(yù)測(cè)模塊(27)、農(nóng)作物病蟲害遙感預(yù)測(cè)模塊(28)和可視化展示預(yù)測(cè)分析結(jié)果模塊(29)，所述農(nóng)作物長(zhǎng)勢(shì)預(yù)測(cè)模塊(26)用于對(duì)觀測(cè)地區(qū)的農(nóng)作物長(zhǎng)勢(shì)進(jìn)行預(yù)測(cè)，所述農(nóng)作物產(chǎn)量預(yù)測(cè)模塊(27)用于對(duì)觀測(cè)地區(qū)的農(nóng)作物產(chǎn)量進(jìn)行預(yù)測(cè)，所述農(nóng)作物病蟲害遙感預(yù)測(cè)模塊(28)用于對(duì)觀測(cè)地區(qū)的農(nóng)作物病蟲害進(jìn)行遙感預(yù)測(cè)，所述可視化展示預(yù)測(cè)分析結(jié)果模塊(29)用于對(duì)預(yù)測(cè)分析結(jié)果進(jìn)行可視化展示。

2.如權(quán)利要求1所述的架構(gòu)，其特征在于，所述數(shù)據(jù)預(yù)處理模塊(3)、所述數(shù)據(jù)特征提取模塊(4)、所述并行挖掘與分析模塊(5)和所述環(huán)境預(yù)測(cè)與展示模塊(6)均在Spark數(shù)據(jù)處理平臺(tái)中進(jìn)行。

3.如權(quán)利要求1所述的架構(gòu)，其特征在于，所述可視化展示預(yù)測(cè)分析結(jié)果模塊(29)采用的軟件為ENVI軟和ARCGIS軟件。