[發明專利]基于Spark的氣象歷史臺站沿革數據可視化方法及系統

在審

• 申請號: 202010338643.2
• 申請日: 2020-04-26
• 公開（公告）號: CN111460012A
• 公開（公告）日: 2020-07-28
• 發明（設計）人: 陳東輝;韓瑞;王妍;蘭平;鞠曉慧;梁中軍;羅嵐心;戰云健;高靜;范邵華;李默予;譚婷婷;石明遠
• 申請（專利權）人: 國家氣象信息中心
• 主分類號: G06F16/248
• 分類號: G06F16/248;G06F16/2458;G06F16/25
• 代理公司: 成都金英專利代理事務所(普通合伙) 51218
• 代理人: 袁英

本發明公開了基于Spark的氣象歷史臺站沿革數據可視化方法，方法包括：在服務器上搭建Spark分布式批處理引擎；獲取氣象歷史臺站的沿革數據，并對數據按照標識碼進行拆分存儲到數據庫中；設計大文件批處理切分方法，將沿革數據文件切分為N個數據塊進行解析，得到解析結果；使用Leaflet技術搭建web端的氣象歷史臺站地圖展示框架；設計統一訪問接口，通過統一訪問接口發布沿革數據解析結果；接收客戶端的數據請求，通過接口返回客戶端所請求的信息查詢結果和沿革數據解析結果，并在搭建的展示框架上對信息查詢結果和沿革數據解析結果進行展示。本發明還提供了基于Spark的氣象歷史臺站沿革數據可視化系統。本發明可以提高大文件的處理效率，方便用戶進行檢索。

技術領域

本發明涉及氣象大數據技術領域，尤其涉及基于Spark的氣象歷史臺站沿革數據可視化方法及系統。

背景技術

氣象數據是反映天氣的一組數據，氣象數據可分為氣候資料和天氣資料。國家氣象信息中心每天接收來自國內外主要臺站的觀測資料,這些資料日積月累,隨時間的推移而成為氣候資料。國內一部分臺站每月將觀測記錄報表和數字化資料寄送或傳輸到國家氣象信息中心,這些資料或報表成為氣候資料重要的部分。此外,氣候資料還包括通過各種渠道收集到的其他學科如水文、地學等資料。氣象歷史臺站的數據量非常龐大，需要耗費大量的時間和資源進行氣象數據的可視化分析。

Spark是一種與Hadoop相似的開源集群計算環境，但是兩者之間還存在一些不同之處，這些有用的不同之處使Spark在某些工作負載方面表現得更加優越，換句話說，Spark啟用了內存分布數據集，除了能夠提供交互式查詢外，它還可以優化迭代工作負載。Spark是在Scala語言中實現的，它將Scala用作其應用程序框架。與Hadoop不同，Spark和Scala能夠緊密集成，其中的Scala可以像操作本地集合對象一樣輕松地操作分布式數據集。盡管創建Spark是為了支持分布式數據集上的迭代作業，但是實際上它是對Hadoop的補充，可以在Hadoop文件系統中并行運行。通過名為Mesos的第三方集群框架可以支持此行為。

傳統的氣象歷史臺站沿革數據的可視化采用通用批處理MapReduce技術實現，但是MapReduce在數據的處理過程中，其計算結果需要保存到磁盤上，影響了整體的數據處理速度。并且MapReduce在處理任務失敗后其處理的數據會丟失，不能實現數據層次容錯。此外，MapReduce只提供了Map和Reduce兩種操作，通用性低。

發明內容

本發明的目的在于克服現有技術的不足，提供基于Spark的氣象歷史臺站沿革數據可視化方法及系統，能夠提高氣象歷史臺站沿革數據的文件解析效率和迭代運算的效率，更高效的進行數據批處理，實現為用戶高效實時展示臺站信息，并提供沿革信息的在線檢索查詢。

本發明的目的是通過以下技術方案來實現的：

基于Spark的氣象歷史臺站沿革數據可視化方法，方法包括以下步驟：

S1，在服務器上搭建Spark分布式批處理引擎；

S2，獲取氣象歷史臺站的沿革數據，并對獲取的數據按照標識碼進行拆分，分表分類存儲到數據庫中；

S3，設計大文件批處理切分方法，將數據庫中存儲的沿革數據文件切分為N個數據塊，并對切分后的數據塊進行解析，得到解析結果；

S4，基于天地圖使用Leaflet技術搭建web端的氣象歷史臺站地圖展示框架；

S5，采用rest和web service相結合的方式設計統一訪問接口，通過統一訪問接口發布沿革數據解析結果和氣象歷史臺站信息查詢服務；

S6，接收客戶端的數據請求，通過rest接口返回客戶端所請求的信息查詢結果和沿革數據解析結果，使得客戶端在瀏覽器的氣象歷史臺站地圖展示框架上對信息查詢結果和沿革數據解析結果進行展示。