[發明專利]一種水環境大數據交換方法

有效

• 申請號: 202110262930.4
• 申請日: 2021-03-11
• 公開（公告）號: CN113051323B
• 公開（公告）日: 2023-09-01
• 發明（設計）人: 郇洪江;徐益強;周瑞生;黎剛;伍耀東
• 申請（專利權）人: 江蘇省生態環境監控中心（江蘇省環境信息中心）
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/27;G06F16/28;G06Q50/26;H04L67/10;H04L67/1097;H04L9/40
• 代理公司: 南京九致知識產權代理事務所(普通合伙) 32307
• 代理人: 嚴巧巧

本發明提供的水環境大數據交換方法，涉及計算機技術領域，包括：建立水環境監測數據收集交換的目錄體系，用于實現各監測要素數據的順序交換；構建水環境監測數據采集交換系統，用于收集數據提供方提供的水環境數據在數據交換平臺中心端共享，并根據數據使用方或數據提供方的需求分發其目標水環境數據至其對應服務器；建立水環境數據傳輸與評價電子系統，用于水環境數據的及時性、完整性和準確性傳遞；建立水環境數據采集傳輸網絡與安全保障體系，用于水環境數據的安全傳輸；本發明支持NoSQL數據庫及關系型的數據庫，可有效擴展可存儲的數據類型，同時采用分布式的技術顯著提升數據讀取與寫入的效率。

技術領域

本發明涉及計算機技術領域，具體涉及一種水環境大數據交換方法。

背景技術

數據交換指在多個數據終端設備(DTE)之間，為任意兩個終端設備建立數據通信臨時互連通路的過程。信息發送方的數據在發送前，首先進行加密、壓縮并按規則封裝成一個個的數據包，然后進行發送；接收方收到消息后，首先對數據進行初步的校驗和解析，確定數據沒問題后按規則整編，最后保存到相應數據庫內完成數據交換的一個單方向傳輸。

在傳統的數據交換平臺實現數據交換時，一般包含中心節點、前置交換節點、橋接程序，每一個交換節點包括了一組輸入接口和輸出接口，通過接口可以向交換節點寫入數據或讀取數據，在每一個端節點前置機上帶有一個前置交換庫，用于存放交換數據；前置交換過程一條數據的交換會有3次寫入與3次讀取的過程，同時這個過程也會受載體(服務器資源)或系統性能(數據庫的IO速度)因素的影響，當數據量不多時，多次的寫入與讀取不會對數據交換的效率產生明顯影響，但當數據交換量到了一定的級別，如單次交換上億條數據，那么就會直接影響到交換效率，而這種交換效率的影響不能單純通過硬件的升級進行優化提升，需要架構進行調整優化。

隨著物聯網的發展，各種物聯網設備實時采集的數據量在不斷提升，傳統的技術已無法滿足對海量數據處理的需求，例如，現有政務數據交換平臺主要是基于ETL技術實現，在數據的抽取、轉換及加載過程中會因軟硬件資源的配置而受影響，另外數據交換平臺在建設初期數據交換量不多的情況下，一般都是采用單節點的設計，這種設計在數據量及數據交換任務不多的情況下可正常運行，然而隨著國家把大數據上升為國家戰略層面，生態環境部要求各省市都需要實現數據的共享、交換與開放，導致業務系統數據量激增，數據交換越來越頻繁。這種單節點設計的弊端逐漸暴露出來，在數據交換高峰時，由于單臺服務器或傳統技術性能的限制，許多數據交換任務來不及處理，造成大量數據交換任務的積壓，使數據交換平臺逐漸成為信息化建設的瓶頸。

面對越來越多的數據存量及交換場景，數據交換平臺迫切需要尋找一個可提供交換效率的數據交換方法。

發明內容

本發明目的在于提供一種水環境大數據交換方法，該方法基于流式計算可有效對海量任務進行及時處理和分配，通過有效提高對海量數據交換的處理效率，提高數據交換方法的整體效率。

為達成上述目的，本發明提出如下技術方案：一種水環境大數據交換方法，包括如下步驟：

1)建立水環境監測數據收集交換的目錄體系，包括預設水環境監測要素、預設各監測要素的動態管理目標，并確定各監測要素監測數據的交換順序；

2)構建水環境監測數據采集交換系統，所述水環境監測數據采集交換系統包括數據交換平臺中心端、若干數據提供方和若干數據使用方，所述數據交換平臺中心端、任一數據提供方和任一數據使用方均配置有一數據共享與交換服務器，所述水環境監測數據采集交換系統用于收集各數據提供方提供的水環境數據在數據交換平臺中心端共享，并根據數據使用方或數據提供方的需求分發其目標水環境數據至其對應服務器，實現多數據提供方水環境數據在多數據使用方的交換與共享；

3)建立水環境數據傳輸與評價電子系統，包括預設水環境數據采集規范、水環境數據傳輸流程、水環境數據交換流程、水環境數據審核標準和水環境數據評價標準，水環境數據傳輸與評價電子系統用于確保水環境數據的及時性、完整性和準確性傳遞；