[發明專利]一種hadoop環境下的農業數據監控方法

有效

• 申請號: 201810402053.4
• 申請日: 2018-04-28
• 公開（公告）號: CN108595664B
• 公開（公告）日: 2022-05-31
• 發明（設計）人: 李梅汝;王志鴻;王文建
• 申請（專利權）人: 上海左岸芯慧電子科技有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182
• 代理公司: 合肥市科融知識產權代理事務所(普通合伙) 34126
• 代理人: 王前程

本發明請求保護一種hadoop環境下的農業數據監控方法，通過hadoop環境下存儲方法對農業系統中的原始數據記錄進行存儲，采用非主鍵的索引方法對校驗字段進行索引，使用格網編碼方式，采用異構數據層存儲Hbase對象的數據結構，基于Hbase對象的結構模式將任務進行分解，采用HBase對原始數據記錄建立時間戳索引和MapReduce的并行化方式完成校驗規則的數據監控。本發明能夠高效可擴展地通過分布式集群的橫向擴展，解決數據海量化問題；通過異構數據統一建模，解決數據異構化帶來的不便；通過為校驗規則涉及的字段建立輔助查詢索引，以支持校驗規則執行時進行高效查詢處理。

技術領域

本發明涉及計算機技術領域，尤其涉及一種hadoop環境下的農業數據監控方法，該方法高效可擴展。

背景技術

進入 21 世紀以來，計算機網絡和傳感器技術的快速發展，農業物聯網的廣泛應用使世界進入農業物聯網快速發展的時代，我國也建立了大量相關的農業物聯網系統。這些系統在農業環境監測、災害預警、作物生長監測、農產品安全等領域發揮了重要作用，取得了一系列重要成果。而在此過程中，隨著農業物聯網系統的不斷發展，系統規模的增大，農業物聯網積累了越來越多的海量異構的農業數據，而這些對農業物聯網的存儲和相應的數據檢索提出了更高的要求

然而在這些結構數據集成解決方案中，較少以非結構化數據的集成為研究重點，在解決異構數據統一存儲和檢索的技術實現上，大多數都使用 XML 技術作為元數據解決方案。XML 技術具有結構靈活、擴展性高、語義豐富等特點，但仍存儲在數據間關聯性不好、解析復雜 XML 文件耗時等特點。

發明內容

發明目的：針對上述現有技術存在的問題和不足，本發明的目的是提供一種hadoop環境下的農業數據監控方法，解決了現有的關系數據庫系統方法的計算延時大，難于擴展，系統性價比低的問題。

技術方案：為實現上述發明目的，本發明采用的技術方案為一種hadoop環境下的農業數據監控方法，包括以下步驟：

（1）通過hadoop環境下存儲方法對農業系統中的原始數據記錄進行存儲；

（2）采用非主鍵的索引方法對校驗字段進行索引，使用格網編碼方式，在增量數據質量校驗，或者時間窗口的細時間粒度的數據質量校驗時在索引表中首先按照層級排序，從起始層級依次排列到終止層級，然后在毎一層級的記錄范圍內按照行列號Z值排序；

（3）采用異構數據層存儲Hbase對象的數據結構，并建立相應的索引信息，根據時間戳范圍查詢原始數據記錄表；首先對Hbase對象的數據結構進行分解，然后基于Hbase對象的結構模式將任務進行分解，并與底層存儲系統進行映射，由底層存儲系統分別執行；

（4）采用HBase對原始數據記錄建立時間戳索引，以及存儲數據的特征及分組信息，在檢索查詢任務中，確定需校驗的數據范圍后進行校驗；

（5）采用MapReduce的并行化方式完成校驗規則的數據監控。

優選的，所述分布存儲方法為HBase的分布存儲方法，采用Master/Slave架構搭建集群，包含一個HMatser節點、若干HRegionServer節點和一個Zookeeper集群，底層將數據存儲在hadoop存儲系統中。所述校驗規則為MapReduce的并行化校驗規則。

優選的，所述步驟（2）中，采用非主鍵索引的方法對校驗字段進行索引，從數據存儲表中一次性讀入所有記錄，獲取矢量要素OID及 其對應的CC碼、幾何信息geo和時間版本T，將其轉化為OID_T，(CC，geo)的形式輸出。

優選的，所述步驟（3）中，所述步驟（3）中，對原始數據記錄建立時間戳索引，通過調用spark計算引擎計算單元邏輯規則對數據進行計算，并將計算后的數據輸出到分布式存儲器，再查詢原始數據記錄表以獲取原始數據記錄進行校驗。