[發明專利]一種農業生態多源異構大數據采集、處理與分析架構

在審

• 申請號: 201810174947.2
• 申請日: 2018-03-02
• 公開（公告）號: CN108287926A
• 公開（公告）日: 2018-07-17
• 發明（設計）人: 宋啟祥;崔琳;張志偉;邱慧麗;吳孝銀;談成訪;潘正高
• 申請（專利權）人: 宿州學院
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06Q10/04;G06Q50/02
• 代理公司: 西安銘澤知識產權代理事務所(普通合伙) 61223
• 代理人: 韓曉娟

本發明公開了一種農業生態多源異構大數據采集、處理與分析架構，涉及人工智能和數據挖掘分析技術領域，包括數據獲取模塊，所述數據獲取模塊與數據存儲模塊電連接，所述數據存儲模塊與數據預處理模塊電連接，所述數據預處理模塊與數據特征提取模塊電連接，所述數據特征提取模塊與并行挖掘與分析模塊電連接，所述并行挖掘與分析模塊與環境預測與展示模塊電連接。本發明用于通過對農業生態多源異構大數據進行采集、處理與分析等處理步驟，從而實現對觀測地區生態農業的全方位監測，有利于工作人員從分析結果判斷觀測地區生態農業的具體生產情況，非常有利于促進生態農業的發展。

技術領域

本發明涉及人工智能和數據挖掘分析技術領域，特別涉及一種農業生態多源異構大數據采集、處理與分析架構。

背景技術

農業生態，是指農業生物之間以及它們與環境的相互關系，主要包括的農業生物有作物、果樹、蔬菜、栽培牧草和樹木、家畜、家禽、養殖魚類、食用菌等。是按照生態學原理和經濟學原理，運用現代科學技術成果和現代管理手段，以及傳統農業的有效經驗建立起來的，能獲得較高的經濟效益、生態效益和社會效益的現代化農業。它要求把發展糧食與多種經濟作物生產，發展大田種植與林、牧、副、漁業，發展大農業與第二、三產業結合起來，利用傳統農業精華和現代科技成果，通過人工設計生態工程、協調發展與環境之間、資源利用與保護之間的矛盾，形成生態上與經濟上兩個良性循環，經濟、生態、社會三大效益的統一。

目前，隨著社會的進步和時代的發展，人們對生態農業的關注度越來越高，希望能夠利用現代科技更好地、更精細地管理生態農業，為全人類造福，所以就需要一種農業生態多源異構大數據采集、處理與分析架構。

發明內容

本發明實施例提供了一種農業生態多源異構大數據采集、處理與分析架構，用以解決現有技術中存在的問題。

一種農業生態多源異構大數據采集、處理與分析架構，包括數據獲取模塊，所述數據獲取模塊與數據存儲模塊電連接，所述數據存儲模塊與數據預處理模塊電連接，所述數據預處理模塊與數據特征提取模塊電連接，所述數據特征提取模塊與并行挖掘與分析模塊電連接，所述并行挖掘與分析模塊與環境預測與展示模塊電連接；

所述數據獲取模塊包括衛星遙感模塊、航空遙感模塊、無人機采集遙感信息模塊和布置傳感網模塊，所述衛星遙感模塊是通過衛星遙感來獲取觀測地區農業的數據信息，所述航空遙感模塊是通過各種飛機、飛艇和氣球作為傳感器運載工具在空中獲取觀測地區農業的數據信息，所述無人機采集遙感信息模塊是通過無人機內的傳感器獲取目標物的電磁波信息，從而獲取觀測地區農業的數據信息，所述布置傳感網模塊是通過在地面布置傳感器網絡來獲取觀測地區農業的數據信息；

所述數據存儲模塊包括HDFS模塊、Hive模塊和MySQL模塊，所述HDFS模塊是Hadoop分布式文件系統，具有高容錯性的特點，并且部署在低廉的硬件上，同時放寬了POSIX的要求，可以以流的形式訪問文件系統中的數據，所述Hive模塊是基于所述HDFS模塊的一種可以存儲、查詢和分析存儲在Hadoop中大規模數據的機制，所述MySQL模塊是一個開放源碼的小型關聯式數據庫管理系統；

所述數據預處理模塊包括數據清洗模塊、幾何校正模塊、數據融合模塊、去云及陰影處理模塊和大氣校正模塊，所述數據清洗模塊是發現并糾正數據文件中可識別的錯誤的最后一道程序，包括檢查數據一致性，處理無效值和缺失值，所述幾何校正模塊用于消除或改正遙感影像的幾何誤差，所述數據融合模塊是將多傳感器信息源的數據和信息加以聯合、相關及組合，以便獲得更為精確的位置估計和身份估計，從而實現對戰場態勢和威脅以及其重要程度的實時完整評價，所述去云及陰影處理模塊用于對遙感影像進行處理，達到去云和陰影的目的，所述大氣校正模塊用于消除遙感影像中由大氣散射和吸收引起的輻射誤差；