[發明專利]一種基于CIMISS和綜合庫數據的氣象綜合業務系統

在審

• 申請號: 201810802227.6
• 申請日: 2018-07-20
• 公開（公告）號: CN110738586A
• 公開（公告）日: 2020-01-31
• 發明（設計）人: 方全
• 申請（專利權）人: 南京洲源信息科技有限公司
• 主分類號: G06Q50/26
• 分類號: G06Q50/26
• 代理公司: 32335 南京華恒專利代理事務所(普通合伙)
• 代理人: 裴素艷

一種基于CIMISS和綜合庫數據的氣象綜合業務系統，包括：數據采集處理子系統、數據存儲服務子系統、數據檢索服務子系統以及數據管理監控子系統，數據采集處理子系統負責接收不同數據來源的氣象資料；數據存儲服務子系統負責將經過數據處理后的氣象可用性和可靠性是數據存儲服務的核心需求；數據檢索服務子系統負責通過對數據的查詢、排序、組合、配置優化等一系列具體操作，數據管理監控子系統主要負責數據環境的軟硬件配置管理和實時監控、數據運行狀態進行管理監控、觀測數據維護管理、系統安全項目管理以及系統集群監控管理等供。通過上述內容的開發和建設，達到對氣象海量數據的統一采集、存儲管理、應用的目標。

技術領域

本發明涉及一種氣象綜合業務系統，更具體的涉及一種基于云計算的氣象綜合業務系統。

背景技術

目前我國已經建成2000多個國家級地面氣象觀測站和5萬多個區域級自動站，每5分鐘傳輸一次報文，觀測數據為分鐘級。探測技術的發展使得氣象數據具有種類多、數據量大、格式多樣復雜等特點，氣象數據包含地面、高空、海洋、農氣、雷達、衛星等14 個大類，數百個子類，既包含 txt、burf、xml 格式等結構化數據，也包含bIn、grIb-1/2、hrIt、netcdf、圖像格式等眾多非結構化數據。眾多的資料屬性信息、要素信息、站網信息和空間地理信息等組成豐富的元數據。以地面資料為主的數據傳輸時效要求越來越嚴格。探測資料種類多，應用廣泛，每年新增的氣象數據已達到PB量級，并仍在快速增長中，傳統的數據存儲、數據服務模式已明顯不能適應氣象數據激增的現狀，進而影響氣象服務的效率和質量，需要建設統一的氣象數據環境來滿足各種氣象業務應用需求。

發明內容

發明目的： 本發明目的在于針對現有技術的不足，提供一種化繁為簡、提高工作效率的基于CIMISS和綜合庫數據的氣象綜合業務系統。

技術方案： 本發明所述一種基于CIMISS和綜合庫數據的氣象綜合業務系統，其特征在于，包括：數據采集處理子系統、數據存儲服務子系統、數據檢索服務子系統以及數據管理監控子系統，

數據采集處理子系統負責接收不同數據來源的氣象資料，按照氣象數據的格式規范要求，對不同類型的氣象資料進行相應的文件識別、數據解碼、格式檢查、質量控制等處理；

數據存儲服務子系統負責將經過數據處理后的氣象數據寫入基于HDFS的HBASE集群數據庫，實現分布式存儲供外部系統訪問，可用性和可靠性是數據存儲服務的核心需求；

數據檢索服務子系統負責通過對數據的查詢、排序、組合、配置優化等一系列具體操作，對原有基于CIMISS和綜合庫數據接口重構實現，提供統一、高效的訪問接口來滿足外部系統的數據請求；

數據管理監控子系統主要負責數據環境的軟硬件配置管理和實時監控、數據運行狀態進行管理監控、觀測數據維護管理、系統安全項目管理以及系統集群監控管理等供。

本發明技術方案的進一步限定為所述數據采集子系統包括多源數據采集模塊、資料加工處理模塊、數據整合入庫模塊。

進一步地，所述數據采集子系統采集的數據經過綜合處理及整合后寫入分布式數據存儲服務器或存儲集群中。

進一步地，所述數據存儲服務子系統還負責對基于HBASE的數據模型設計并持續優化，包括行鍵設計、列簇設計、負載均衡、過濾器設計以及分布式數據存儲的管理功能。

進一步地，所述數據檢索服務子系統的據訪問接口提供基于時空條件的查詢檢索、模糊檢索以及數據聚合分析等功能，并可對檢索數據進行本地化數據轉換導出功能。

有益效果： 本發明提供的一種基于CIMISS和綜合庫數據的氣象綜合業務系統，通過上述內容的開發和建設，達到對氣象海量數據的統一采集、存儲管理、應用的目標。

具體實施方式