[發明專利]一種多樣化氣象水文數據分類存儲處理方法和系統

有效

• 申請號: 201810242715.6
• 申請日: 2018-03-23
• 公開（公告）號: CN108595511B
• 公開（公告）日: 2022-04-01
• 發明（設計）人: 周漩;鄒偉;張晉武;張丕旭;周衛平;姚智;段煉;紀曉鋒;郝春宏;鄭棟天
• 申請（專利權）人: 中國人民解放軍91977部隊
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F16/33;G06F16/31
• 代理公司: 北京理工大學專利中心 11120
• 代理人: 溫子云;仇蕾安

本發明公開了一種多樣化氣象水文數據分類存儲處理方法和系統，能夠提高海量、多樣化氣象水文數據的查詢處理速率。該方法針對氣象報文分兩路進行存儲，其中一路是將氣象報文解析數據進行格式轉換，得到包括時間、報文類型以及報文詳情的三字段信息，存入動態緩存庫；動態緩存庫保留近n小時的三字段信息將超出n小時的三字段信息存入三字段信息數據庫；另外一路是直接將氣象報文解析數據存入報文數據全文數據庫；查詢氣象報文時，根據外部請求，先按照時間點、報文類型和/或報文詳情部分或全部字段的組合，從動態緩存庫和三字段信息數據庫中查詢所需信息；對于超出三字段信息存儲范圍的數據，從報文數據全文數據庫中查詢。

技術領域

本發明屬于氣象水文數據存儲處理技術領域，特別涉及一種多樣化氣象水文數據分類存儲處理方法和系統。

背景技術

傳統的氣象水文數據存儲通常采用關系型數據庫進行存儲。隨著氣象業務的不斷發展，氣象水文數據格式越來越多、數據量越來越大，傳統的關系型數據庫已不能滿足氣象數據查詢處理要求。在大數據存儲應用中，現今各類非關系型數據庫開始嶄露頭角，并得到廣泛應用。為了使氣象業務系統能夠快速地進行填圖、搜索和預報產品制作，需要一種基于非關系型數據庫，能夠對多樣化氣象水文數據分類存儲處理的方法，來解決海量氣象水文數據存儲、查詢、處理效率的問題。

發明內容

有鑒于此，本發明提供了一種多樣化氣象水文數據分類存儲處理方法和系統，能夠提高海量、多樣化氣象水文數據的查詢處理速率。

為了解決上述技術問題，本發明是這樣實現的。

一種多樣化氣象水文數據分類存儲處理系統，報文存儲子系統和文件存儲子系統；所述報文存儲子系統包括格式轉換模塊、動態緩存庫、三字段信息數據庫、報文數據全文數據庫和報文查詢接口；所述三字段信息數據庫和報文數據全文數據庫均采用非關系型數據庫；

所述格式轉換模塊，用于將氣象報文解析數據格式轉換為包括時間、報文類型以及報文詳情的三字段信息；所述報文詳情為自定義的關注信息；

所述動態緩存庫，用于緩存近n小時的所述三字段信息，將超出n小時的三字段信息存入三字段信息數據庫；新三字段信息存入本動態緩存庫之前判斷動態緩存庫中是否有時間、報文類型相同的數據條目，如果有，則將新三字段信息中的報文詳情追加到已有的三字段信息中；如果沒有，直接存儲新三字段信息；所述n為設定的時間長度；

所述三字段信息數據庫，用于存儲動態緩存庫發來的三字段信息；

所述報文數據全文數據庫，用于存儲未經加工的氣象報文解析數據；

所述報文查詢接口，用于根據外部請求，先按照時間點、報文類型和/或報文詳情部分或全部字段的組合，從動態緩存庫和三字段信息數據庫中查詢所需信息；對于超出三字段信息存儲范圍的數據，從報文數據全文數據庫中查詢；

所述文件存儲子系統，用于存儲氣象產品文件，并響應外部文件下載請求。

優選地，所述報文存儲子系統進一步包括緩存備份模塊，用于備份動態緩存庫中的數據；每n小時刪除一次超時的數據。

優選地，所述報文數據全文數據庫按照報文類型存儲報文數據。

優選地，所述文件存儲子系統包括文件索引庫、文件存儲庫和文件下載接口；文件索引庫、文件存儲庫均為非關系型數據庫；所述文件索引庫存儲氣象產品解析文件的文件索引，所述文件索引由文件基本信息和氣象產品唯一標識碼ID生成；所述文件存儲庫存儲氣象產品解析文件；文件下載接口根據外部請求，先查詢文件索引庫，找到所述氣象產品唯一標識碼ID，使用氣象產品唯一標識碼ID從文件存儲庫中獲取文件。

優選地，所述動態緩存庫保存在掉電即失的存儲介質中；所述三字段信息數據庫和報文數據全文數據庫保存在掉電不失的存儲介質中。

本發明還提供了一種多樣化氣象水文數據分類存儲處理方法，包括：