[發(fā)明專利]基于Spark的氣象歷史臺站沿革數(shù)據(jù)可視化方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202010338643.2
• 申請日: 2020-04-26
• 公開（公告）號: CN111460012A
• 公開（公告）日: 2020-07-28
• 發(fā)明（設(shè)計(jì)）人: 陳東輝;韓瑞;王妍;蘭平;鞠曉慧;梁中軍;羅嵐心;戰(zhàn)云健;高靜;范邵華;李默予;譚婷婷;石明遠(yuǎn)
• 申請（專利權(quán)）人: 國家氣象信息中心
• 主分類號: G06F16/248
• 分類號: G06F16/248;G06F16/2458;G06F16/25
• 代理公司: 成都金英專利代理事務(wù)所(普通合伙) 51218
• 代理人: 袁英

本發(fā)明公開了基于Spark的氣象歷史臺站沿革數(shù)據(jù)可視化方法，方法包括：在服務(wù)器上搭建Spark分布式批處理引擎；獲取氣象歷史臺站的沿革數(shù)據(jù)，并對數(shù)據(jù)按照標(biāo)識碼進(jìn)行拆分存儲到數(shù)據(jù)庫中；設(shè)計(jì)大文件批處理切分方法，將沿革數(shù)據(jù)文件切分為N個(gè)數(shù)據(jù)塊進(jìn)行解析，得到解析結(jié)果；使用Leaflet技術(shù)搭建web端的氣象歷史臺站地圖展示框架；設(shè)計(jì)統(tǒng)一訪問接口，通過統(tǒng)一訪問接口發(fā)布沿革數(shù)據(jù)解析結(jié)果；接收客戶端的數(shù)據(jù)請求，通過接口返回客戶端所請求的信息查詢結(jié)果和沿革數(shù)據(jù)解析結(jié)果，并在搭建的展示框架上對信息查詢結(jié)果和沿革數(shù)據(jù)解析結(jié)果進(jìn)行展示。本發(fā)明還提供了基于Spark的氣象歷史臺站沿革數(shù)據(jù)可視化系統(tǒng)。本發(fā)明可以提高大文件的處理效率，方便用戶進(jìn)行檢索。

技術(shù)領(lǐng)域

本發(fā)明涉及氣象大數(shù)據(jù)技術(shù)領(lǐng)域，尤其涉及基于Spark的氣象歷史臺站沿革數(shù)據(jù)可視化方法及系統(tǒng)。

背景技術(shù)

氣象數(shù)據(jù)是反映天氣的一組數(shù)據(jù)，氣象數(shù)據(jù)可分為氣候資料和天氣資料。國家氣象信息中心每天接收來自國內(nèi)外主要臺站的觀測資料,這些資料日積月累,隨時(shí)間的推移而成為氣候資料。國內(nèi)一部分臺站每月將觀測記錄報(bào)表和數(shù)字化資料寄送或傳輸?shù)絿覛庀笮畔⒅行?這些資料或報(bào)表成為氣候資料重要的部分。此外,氣候資料還包括通過各種渠道收集到的其他學(xué)科如水文、地學(xué)等資料。氣象歷史臺站的數(shù)據(jù)量非常龐大，需要耗費(fèi)大量的時(shí)間和資源進(jìn)行氣象數(shù)據(jù)的可視化分析。

Spark是一種與Hadoop相似的開源集群計(jì)算環(huán)境，但是兩者之間還存在一些不同之處，這些有用的不同之處使Spark在某些工作負(fù)載方面表現(xiàn)得更加優(yōu)越，換句話說，Spark啟用了內(nèi)存分布數(shù)據(jù)集，除了能夠提供交互式查詢外，它還可以優(yōu)化迭代工作負(fù)載。Spark是在Scala語言中實(shí)現(xiàn)的，它將Scala用作其應(yīng)用程序框架。與Hadoop不同，Spark和Scala能夠緊密集成，其中的Scala可以像操作本地集合對象一樣輕松地操作分布式數(shù)據(jù)集。盡管創(chuàng)建Spark是為了支持分布式數(shù)據(jù)集上的迭代作業(yè)，但是實(shí)際上它是對Hadoop的補(bǔ)充，可以在Hadoop文件系統(tǒng)中并行運(yùn)行。通過名為Mesos的第三方集群框架可以支持此行為。

傳統(tǒng)的氣象歷史臺站沿革數(shù)據(jù)的可視化采用通用批處理MapReduce技術(shù)實(shí)現(xiàn)，但是MapReduce在數(shù)據(jù)的處理過程中，其計(jì)算結(jié)果需要保存到磁盤上，影響了整體的數(shù)據(jù)處理速度。并且MapReduce在處理任務(wù)失敗后其處理的數(shù)據(jù)會丟失，不能實(shí)現(xiàn)數(shù)據(jù)層次容錯(cuò)。此外，MapReduce只提供了Map和Reduce兩種操作，通用性低。

發(fā)明內(nèi)容

本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供基于Spark的氣象歷史臺站沿革數(shù)據(jù)可視化方法及系統(tǒng)，能夠提高氣象歷史臺站沿革數(shù)據(jù)的文件解析效率和迭代運(yùn)算的效率，更高效的進(jìn)行數(shù)據(jù)批處理，實(shí)現(xiàn)為用戶高效實(shí)時(shí)展示臺站信息，并提供沿革信息的在線檢索查詢。

本發(fā)明的目的是通過以下技術(shù)方案來實(shí)現(xiàn)的：

基于Spark的氣象歷史臺站沿革數(shù)據(jù)可視化方法，方法包括以下步驟：

S1，在服務(wù)器上搭建Spark分布式批處理引擎；

S2，獲取氣象歷史臺站的沿革數(shù)據(jù)，并對獲取的數(shù)據(jù)按照標(biāo)識碼進(jìn)行拆分，分表分類存儲到數(shù)據(jù)庫中；

S3，設(shè)計(jì)大文件批處理切分方法，將數(shù)據(jù)庫中存儲的沿革數(shù)據(jù)文件切分為N個(gè)數(shù)據(jù)塊，并對切分后的數(shù)據(jù)塊進(jìn)行解析，得到解析結(jié)果；

S4，基于天地圖使用Leaflet技術(shù)搭建web端的氣象歷史臺站地圖展示框架；

S5，采用rest和web service相結(jié)合的方式設(shè)計(jì)統(tǒng)一訪問接口，通過統(tǒng)一訪問接口發(fā)布沿革數(shù)據(jù)解析結(jié)果和氣象歷史臺站信息查詢服務(wù)；

S6，接收客戶端的數(shù)據(jù)請求，通過rest接口返回客戶端所請求的信息查詢結(jié)果和沿革數(shù)據(jù)解析結(jié)果，使得客戶端在瀏覽器的氣象歷史臺站地圖展示框架上對信息查詢結(jié)果和沿革數(shù)據(jù)解析結(jié)果進(jìn)行展示。