[發明專利]一種氣象大數據處理調度系統

在審

• 申請號: 202110033717.6
• 申請日: 2021-01-12
• 公開（公告）號: CN112765294A
• 公開（公告）日: 2021-05-07
• 發明（設計）人: 郭辰;田曉波;楊萍;張曉朝;梁思超;卜照軍;馮笑丹;王森;蔣賁;王志勇
• 申請（專利權）人: 華能新能源股份有限公司;北京朗潤知天科技有限公司;華能集團技術創新中心有限公司;中國華能集團清潔能源技術研究院有限公司
• 主分類號: G06F16/29
• 分類號: G06F16/29;G06F16/27;G06F16/22;G06F16/2455
• 代理公司: 北京挺立專利事務所(普通合伙) 11265
• 代理人: 余瑩

一種氣象大數據處理調度系統，涉及現代互聯網信息技術與經典氣象模擬的交叉領域，解決現有氣象領域異構環境下，分布式處理的數據交換繁瑣，無法靈活調度等問題，本系統運行于云端容器實時調度系統資源和負載，數據在交易集市上進行交換，并基于數據總線技術進行傳輸，數據生產者模塊用于適配數據生產裝置。數據消費者模塊用于適配數據消費裝置。數據集市，用于各系統之間的數據交換。消息總線用于各系統間的數據傳輸。數據調度用于各系統控制數據的協同調度。本發明適合于氣象大數據的分析和模擬所需海量數據進行管理。

技術領域

本發明涉及現代互聯網信息技術與經典氣象模擬的交叉領域，具體涉及一種氣象大數據處理調度系統，適合氣象大數據處理和氣象異構環境下應對各應用系統對氣象大數據的分析和模擬所需海量數據進行管理。

背景技術

隨著技術的變革，現代探測手段的進步使得氣象數據呈現爆炸式增長，傳統氣象信息服務系統在數據可復用、數據分析加工處理能力等方面已經無法適應現代氣象業務快速發展的變化需求，因此，需要一種能夠在復雜異構環境下靈活調度交換氣象數據并在各分布式氣象處理系統中流轉處理氣象數據。

發明內容

本發明為解決現有氣象領域異構環境下，分布式處理的數據交換繁瑣，無法靈活調度等問題，提供一種氣象大數據處理調度系統。

一種氣象大數據處理調度系統，包括數據生產者模塊，數據消費者模塊，數據集市模塊，數據調度模塊以及GIS檢索模塊；所述數據生產者模塊，數據消費者模塊，數據集市模塊，數據調度模塊以及GIS檢索模塊之間通過消息總線通信；

所述數據生產者模塊用于將數據生產者產生的數據主題發布到數據集市模塊；

所述數據消費者模塊用于將數據消費者從訂閱的數據主題中提取數據；

所述數據集市模塊用于存儲各個數據主題，并對異構系統之間的數據分區，同一數據主題的不同分區存儲在不同的節點，為保證數據的安全性分區之間相互備份，同時對外提供服務；

所述數據調度模塊用于各模塊控制數據的協同調度，采用AMQP協議根據路由規則將接收的數據信息發送至業務系統；使業務系統消費者主動提取與自己業務相關的數據；

所述GIS檢索模塊用于定位和提取多維度時空氣象網格數據，通過數據路由將氣象網格數據送至NoSQL數據庫并建立經緯度索引，業務系統輸入時間經緯度坐標查詢，結果從數據庫緩存到GIS分區，業務系統從GIS分區異步獲取結果數據。

進一步的，所述消息總線用于各模塊之間的數據轉發，消息總線內部有多個流式通信管線構成。

進一步的，所述AMQP協議從流式管道中根據同一主題原數據進行路由選擇，路由選擇方式包括數據優先級別，數據類型，過濾數據或者插值訂正處理。

本發明的有益效果：本發明所述的調度系統將海量數據在數據集市上進行交換，滿足各應用系統對業務數據需求，提高各業務系統對數據依賴的穩定。

1、在異構環境下各業務系統均可接入標準的數據集市，在集市上進行標準的數據發布和訂閱其他系統的數據集。

2、氣象數據集市中的每個分區或分區組都有副本可以同時對外提供服務，數據的穩定性得到有效的保障。

3、氣象數據基于容器技術部署，系統自動感知接入負載自動調整資源，對瞬時的數據承載壓力進行有效消化。

附圖說明

圖1為本發明所述的一種氣象大數據處理調度系統的原理圖；

圖2為數據調度過程示意圖；

圖3為采用AMQP協議發送消息的示意圖。

具體實施方式