[發明專利]一種基于數據湖的多源異構生態環境大數據處理方法及系統

在審

• 申請號: 202010154716.2
• 申請日: 2020-03-08
• 公開（公告）號: CN111459908A
• 公開（公告）日: 2020-07-28
• 發明（設計）人: 李楠;汪鵬;陳偉強
• 申請（專利權）人: 中國科學院城市環境研究所
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/215;G06F16/2457;G06F16/25;G06F16/28;G06N7/00;G06N20/10;G06Q50/26
• 代理公司: 北京慧而行專利代理事務所(普通合伙) 11841
• 代理人: 李銳

本發明提供了一種基于數據湖的多源異構生態環境大數據處理系統及方法，該系統包括：生態環境數據采集層、生態環境數據清洗層、生態環境數據存儲層、生態環境數據處理層、生態環境數據管理層。生態環境數據采集層用于采集生態環境的原始數據；生態環境數據清洗層，用于對所述生態環境數據采集層獲取的數據進行預處理及標準化；生態環境數據存儲層，用于對所述生態環境數據清洗層傳輸的數據進行分類分層存儲；生態環境數據處理層，用于一體化處理流批生態環境數據；生態環境數據管理層，用于對生態環境數據采集、清洗、存儲和處理過程進行監控。本發明能夠提升環境數據的存取與分析效率，大幅度降低存儲成本。

技術領域

本發明涉及計算機大數據處理領域，具體涉及一種基于數據湖的多源異構大數據的處理方法及其系統。

背景技術

近年來，隨著物聯網、遙感、云計算、移動智能設備等技術的快速發展，生態環境數據呈井噴式增長。整體上看，生態環境大數據可以分為四大類：1) 基礎支撐數據：基礎地理、遙感影像、氣候氣象等數據；2)自然生態數據：農田生態系統、森林生態系統、草地生態系統、荒漠生態系統、沼澤生態系統等方面的數據；3)環境監測數據：水環境、大氣環境、土壤環境、噪聲環境、核輻射環境等方面的數據；4)人文社會數據：經濟發展、基礎設施、能源消耗、公眾參與、網絡輿情等方面的數據。

生態環境大數據有其獨有的特征：1)生態環境大數據具有“空天地一體”的巨大數據量。從數據規模來看，生態環境數據量也已從TB級別躍升到PB級別。 2)生態環境大數據的類型、來源和格式具有復雜多樣性。生態環境數據在內容上包括水、土、大氣等多方面的數據；從地域上來講，包括全球各個尺度，如海洋、森林、濕地等各類生態系統的數據；從數據來源上說，有來自于氣象、水利、國土、農業、林業、交通、社會經濟等不同部門的各種數據；從數據結構上說，有結構化及半結構化的政府統計數據、非結構化的環境文本數據、二進制的遙感衛星影像數據等多種結構的數據。3)生態環境大數據具有較強的空間地理特征，對實時性與空間精度都有更高的要求，諸如自然災害信息、環境污染狀況、交通擁堵情況等無一例外。因此，一般大數據的處理及監控方法無法滿足生態環境大數據使用過程中運算響應速度、擴展性、靈活性等方面的需求。

當前，缺乏一種能夠支持多源異構生態環境大數據的處理辦法，用以解決生態環境大數據共享的問題。其主要難點在于：1)數據互通性問題：生態環境大數據來源幾乎涵蓋所有政府職能部門，這些部門互不連通，數據往往是以“數據孤島”的形式存在。2)數據規范化的問題：數據不僅以單一的結構化形式存在，更多的數據是以半結構化、非結構化的形式呈現，缺乏統一的數據規范，存在大量異構數據。3)數據存儲成本與運行性能問題：生態環境大數據存儲在數據庫或數據倉庫中往往帶來較高的存儲成本，同時嚴重制約數據處理的運行速度。4)數據開放化的問題：生態環境數據開放總量偏低，大多為靜態數據，且集中在經濟發達、政府信息化基礎和IT產業發展好的城市。

綜上所述，迫切需要一種基于數據湖的多源異構生態環境大數據處理方法，對生態環境大數據進行標準化處理以及推動同類數據的集成處理與監控。

發明內容

有鑒于此，本發明提供了以下技術方案：

一方面，本發明提供了一種基于數據湖的多源異構生態環境大數據處理系統，所述系統包括：

生態環境數據采集層、生態環境數據清洗層、生態環境數據存儲層、生態環境數據處理層、生態環境數據管理層；

所述生態環境數據采集層用于采集生態環境的原始數據，所述原始數據包括生態環境數據、生態環境元數據；所述生態環境數據采集層包括元數據采集模塊、數據采集模塊，所述元數據采集模塊用于采集多種來源多種結構的生態環境元數據，所述數據采集模塊用于采集多種來源多種結構的生態環境數據；

所述生態環境數據清洗層，用于對所述生態環境數據采集層獲取的數據進行預處理及標準化；