日韩在线一区二区三区,日本午夜一区二区三区,国产伦精品一区二区三区四区视频,欧美日韩在线观看视频一区二区三区 ,一区二区视频在线,国产精品18久久久久久首页狼,日本天堂在线观看视频,综合av一区

[發(fā)明專利]基于Spark的氣象歷史臺站沿革數(shù)據(jù)可視化方法及系統(tǒng)在審

專利信息
申請?zhí)枺?/td> 202010338643.2 申請日: 2020-04-26
公開(公告)號: CN111460012A 公開(公告)日: 2020-07-28
發(fā)明(設(shè)計(jì))人: 陳東輝;韓瑞;王妍;蘭平;鞠曉慧;梁中軍;羅嵐心;戰(zhàn)云健;高靜;范邵華;李默予;譚婷婷;石明遠(yuǎn) 申請(專利權(quán))人: 國家氣象信息中心
主分類號: G06F16/248 分類號: G06F16/248;G06F16/2458;G06F16/25
代理公司: 成都金英專利代理事務(wù)所(普通合伙) 51218 代理人: 袁英
地址: 100081 北京市海淀*** 國省代碼: 北京;11
權(quán)利要求書: 查看更多 說明書: 查看更多
摘要:
搜索關(guān)鍵詞: 基于 spark 氣象 歷史 沿革 數(shù)據(jù) 可視化 方法 系統(tǒng)
【說明書】:

發(fā)明公開了基于Spark的氣象歷史臺站沿革數(shù)據(jù)可視化方法,方法包括:在服務(wù)器上搭建Spark分布式批處理引擎;獲取氣象歷史臺站的沿革數(shù)據(jù),并對數(shù)據(jù)按照標(biāo)識碼進(jìn)行拆分存儲到數(shù)據(jù)庫中;設(shè)計(jì)大文件批處理切分方法,將沿革數(shù)據(jù)文件切分為N個(gè)數(shù)據(jù)塊進(jìn)行解析,得到解析結(jié)果;使用Leaflet技術(shù)搭建web端的氣象歷史臺站地圖展示框架;設(shè)計(jì)統(tǒng)一訪問接口,通過統(tǒng)一訪問接口發(fā)布沿革數(shù)據(jù)解析結(jié)果;接收客戶端的數(shù)據(jù)請求,通過接口返回客戶端所請求的信息查詢結(jié)果和沿革數(shù)據(jù)解析結(jié)果,并在搭建的展示框架上對信息查詢結(jié)果和沿革數(shù)據(jù)解析結(jié)果進(jìn)行展示。本發(fā)明還提供了基于Spark的氣象歷史臺站沿革數(shù)據(jù)可視化系統(tǒng)。本發(fā)明可以提高大文件的處理效率,方便用戶進(jìn)行檢索。

技術(shù)領(lǐng)域

本發(fā)明涉及氣象大數(shù)據(jù)技術(shù)領(lǐng)域,尤其涉及基于Spark的氣象歷史臺站沿革數(shù)據(jù)可視化方法及系統(tǒng)。

背景技術(shù)

氣象數(shù)據(jù)是反映天氣的一組數(shù)據(jù),氣象數(shù)據(jù)可分為氣候資料和天氣資料。國家氣象信息中心每天接收來自國內(nèi)外主要臺站的觀測資料,這些資料日積月累,隨時(shí)間的推移而成為氣候資料。國內(nèi)一部分臺站每月將觀測記錄報(bào)表和數(shù)字化資料寄送或傳輸?shù)絿覛庀笮畔⒅行?這些資料或報(bào)表成為氣候資料重要的部分。此外,氣候資料還包括通過各種渠道收集到的其他學(xué)科如水文、地學(xué)等資料。氣象歷史臺站的數(shù)據(jù)量非常龐大,需要耗費(fèi)大量的時(shí)間和資源進(jìn)行氣象數(shù)據(jù)的可視化分析。

Spark是一種與Hadoop相似的開源集群計(jì)算環(huán)境,但是兩者之間還存在一些不同之處,這些有用的不同之處使Spark在某些工作負(fù)載方面表現(xiàn)得更加優(yōu)越,換句話說,Spark啟用了內(nèi)存分布數(shù)據(jù)集,除了能夠提供交互式查詢外,它還可以優(yōu)化迭代工作負(fù)載。Spark是在Scala語言中實(shí)現(xiàn)的,它將Scala用作其應(yīng)用程序框架。與Hadoop不同,Spark和Scala能夠緊密集成,其中的Scala可以像操作本地集合對象一樣輕松地操作分布式數(shù)據(jù)集。盡管創(chuàng)建Spark是為了支持分布式數(shù)據(jù)集上的迭代作業(yè),但是實(shí)際上它是對Hadoop的補(bǔ)充,可以在Hadoop文件系統(tǒng)中并行運(yùn)行。通過名為Mesos的第三方集群框架可以支持此行為。

傳統(tǒng)的氣象歷史臺站沿革數(shù)據(jù)的可視化采用通用批處理MapReduce技術(shù)實(shí)現(xiàn),但是MapReduce在數(shù)據(jù)的處理過程中,其計(jì)算結(jié)果需要保存到磁盤上,影響了整體的數(shù)據(jù)處理速度。并且MapReduce在處理任務(wù)失敗后其處理的數(shù)據(jù)會丟失,不能實(shí)現(xiàn)數(shù)據(jù)層次容錯(cuò)。此外,MapReduce只提供了Map和Reduce兩種操作,通用性低。

發(fā)明內(nèi)容

本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足,提供基于Spark的氣象歷史臺站沿革數(shù)據(jù)可視化方法及系統(tǒng),能夠提高氣象歷史臺站沿革數(shù)據(jù)的文件解析效率和迭代運(yùn)算的效率,更高效的進(jìn)行數(shù)據(jù)批處理,實(shí)現(xiàn)為用戶高效實(shí)時(shí)展示臺站信息,并提供沿革信息的在線檢索查詢。

本發(fā)明的目的是通過以下技術(shù)方案來實(shí)現(xiàn)的:

基于Spark的氣象歷史臺站沿革數(shù)據(jù)可視化方法,方法包括以下步驟:

S1,在服務(wù)器上搭建Spark分布式批處理引擎;

S2,獲取氣象歷史臺站的沿革數(shù)據(jù),并對獲取的數(shù)據(jù)按照標(biāo)識碼進(jìn)行拆分,分表分類存儲到數(shù)據(jù)庫中;

S3,設(shè)計(jì)大文件批處理切分方法,將數(shù)據(jù)庫中存儲的沿革數(shù)據(jù)文件切分為N個(gè)數(shù)據(jù)塊,并對切分后的數(shù)據(jù)塊進(jìn)行解析,得到解析結(jié)果;

S4,基于天地圖使用Leaflet技術(shù)搭建web端的氣象歷史臺站地圖展示框架;

S5,采用rest和web service相結(jié)合的方式設(shè)計(jì)統(tǒng)一訪問接口,通過統(tǒng)一訪問接口發(fā)布沿革數(shù)據(jù)解析結(jié)果和氣象歷史臺站信息查詢服務(wù);

S6,接收客戶端的數(shù)據(jù)請求,通過rest接口返回客戶端所請求的信息查詢結(jié)果和沿革數(shù)據(jù)解析結(jié)果,使得客戶端在瀏覽器的氣象歷史臺站地圖展示框架上對信息查詢結(jié)果和沿革數(shù)據(jù)解析結(jié)果進(jìn)行展示。

下載完整專利技術(shù)內(nèi)容需要扣除積分,VIP會員可以免費(fèi)下載。

該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息,商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于國家氣象信息中心,未經(jīng)國家氣象信息中心許可,擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作,請聯(lián)系【客服

本文鏈接:http://www.szxzyx.cn/pat/books/202010338643.2/2.html,轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。

×

專利文獻(xiàn)下載

說明:

1、專利原文基于中國國家知識產(chǎn)權(quán)局專利說明書;

2、支持發(fā)明專利 、實(shí)用新型專利、外觀設(shè)計(jì)專利(升級中);

3、專利數(shù)據(jù)每周兩次同步更新,支持Adobe PDF格式;

4、內(nèi)容包括專利技術(shù)的結(jié)構(gòu)示意圖流程工藝圖技術(shù)構(gòu)造圖

5、已全新升級為極速版,下載速度顯著提升!歡迎使用!

請您登陸后,進(jìn)行下載,點(diǎn)擊【登陸】 【注冊】

關(guān)于我們 尋求報(bào)道 投稿須知 廣告合作 版權(quán)聲明 網(wǎng)站地圖 友情鏈接 企業(yè)標(biāo)識 聯(lián)系我們

鉆瓜專利網(wǎng)在線咨詢

周一至周五 9:00-18:00

咨詢在線客服咨詢在線客服
tel code back_top
主站蜘蛛池模板: 久久久久国产精品免费免费搜索| 色综合久久久久久久粉嫩| 精品91av| 午夜免费一级片| 狠狠色噜噜狠狠狠四色米奇| 玖玖玖国产精品| 日韩av在线播放网址| 人人要人人澡人人爽人人dvd| 精品久久国产视频| 国产精品一区二区三区在线看| 国产日韩欧美精品| 久久久精品99久久精品36亚| 久久亚洲综合国产精品99麻豆的功能介绍| 日韩亚洲国产精品| 91精品视频免费在线观看| 国产高潮国产高潮久久久91| 国产区一区| 欧美日韩国产在线一区二区三区| 国产精品视频二区不卡| 亚洲欧美色图在线| 午夜裸体性播放免费观看| av不卡一区二区三区| 国产床戏无遮挡免费观看网站| 国产欧美日韩亚洲另类第一第二页 | 午夜免费av电影| 美日韩一区| 国产精品亚洲精品一区二区三区| 日韩精品少妇一区二区在线看| 狠狠躁日日躁狂躁夜夜躁av | 国产伦精品一区二| 国产超碰人人模人人爽人人添| 色婷婷综合久久久久中文| 91理论片午午伦夜理片久久| 亚洲一区二区三区加勒比| 国产一区二区资源| 97人人揉人人捏人人添| 少妇在线看www| 99精品欧美一区二区三区美图| 国产精品乱码一区二区三区四川人| 日韩一级片免费观看| 99视频国产在线| 午夜影院色| 一色桃子av| 日韩偷拍精品| 久久影院国产精品| 国产精品综合一区二区三区| 最新国产一区二区| 美国三级日本三级久久99| www.午夜av| 亚洲乱小说| 午夜情所理论片| 一区二区三区四区国产| 亚洲影院久久| 欧美在线播放一区| 性少妇freesexvideos高清bbw| 国内精品久久久久久久星辰影视 | 国产一区影院| 久久久久久久国产| 日韩精品中文字幕在线| 国产日韩欧美精品一区二区 | 91久久国产露脸精品国产| 在线国产91| 国产精品自拍在线| 狠狠躁狠狠躁视频专区| 亚州精品中文| 国产精品亚洲欧美日韩一区在线| 国产一区二区三区午夜| 欧美国产三区| 久久精品一二三| 午夜亚洲影院| 国产二区精品视频| 波多野结衣女教师电影| 国产欧美一区二区三区四区| 国产一区精品在线观看| 午夜影院色| 国产日产精品一区二区| 久99久视频| 国产欧美亚洲精品| 香蕉久久国产| 国产精品日产欧美久久久久| 国产品久久久久久噜噜噜狼狼| 国产免费观看一区| 狠狠躁夜夜躁xxxxaaaa| 91香蕉一区二区三区在线观看| 欧美日韩一区二区电影| 99久久精品免费看国产免费粉嫩| 狠狠综合久久av一区二区老牛| 免费精品一区二区三区视频日产| 欧美亚洲精品suv一区| 久久综合激情网| 狠狠色成色综合网| 国产日韩欧美第一页| 久精品国产| 国产伦精品一区二区三| 精品国产1区2区3区| 免费毛片**| 日韩一级在线视频| ass韩国白嫩pics| 国产伦精品一区二区三区免费观看| 精品久久不卡| 久草精品一区| av毛片精品| 91久久香蕉| 精品国产区| 超碰97国产精品人人cao| 中文字幕一区二区三区免费视频| 99国产精品一区二区| 日韩中文字幕在线一区| 91看片淫黄大片91| 精品无码久久久久国产| 最新av中文字幕| 日韩av电影手机在线观看| 欧美二区精品| 99久久久国产精品免费无卡顿| 日韩一区高清| 国产免费区| 精品国产亚洲一区二区三区| 精品国产一区二区三区高潮视 | 久久免费视频一区| 欧美性受xxxx狂喷水| 久久久久国产一区二区三区不卡| 国产午夜精品一区理论片飘花| 日韩精品中文字幕一区| sb少妇高潮二区久久久久| 亚洲乱强伦| 91视频国产一区| 欧美日韩国产在线一区| 欧美一区二区三区久久综合| 久久一级精品视频| 欧美精品在线不卡| 欧美福利三区| 亚洲国产精品综合| 欧美日韩一级二级三级| 精品国产一区二区三区高潮视 | 99久久国产综合精品麻豆| 91片在线观看| 亚洲欧美国产日韩综合| 欧美精品一区二区久久久| 日韩av在线播| 国产91精品一区| 欧美片一区二区| 国产精品美女久久久免费| 国产高清在线观看一区| 国产精品一区不卡| 国产精品乱综合在线| 91久久国产露脸精品国产| 国产日韩欧美另类| 狠狠插影院| 特高潮videossexhd| 国产清纯白嫩初高生在线播放性色| 69精品久久| 日韩午夜电影院| 亚洲国产欧美一区二区三区丁香婷| 亚洲精品无吗| 日本一区二区三区在线看| 国产精品免费自拍| 久久99精| 国产经典一区二区三区| 在线精品国产一区二区三区| 国产1区在线观看| 天堂av一区二区| 国产1区2| xxxxhdvideosex| 精品国产一二三四区| 欧美hdxxxx| 午夜性电影| 99久久国产综合| 欧美乱码精品一区二区| 国产精品二区一区| 国产乱xxxxx国语对白| 国产专区一区二区| 中文字幕欧美日韩一区| 欧美老肥婆性猛交视频| bbbbb女女女女女bbbbb国产| 国产特级淫片免费看| 日韩av在线资源| 国产99视频精品免视看芒果| 99视频国产在线| 国产欧美日韩二区| 欧美一区二区三区在线视频观看| 91国产在线看| 亚洲无人区码一码二码三码| 丝袜美腿诱惑一区二区| 国产午夜精品一区二区理论影院 | 亚洲精品91久久久久久| 欧美视频1区| 久久乐国产精品| 国产精品久久91| 久久人人爽爽| 欧美一区二区三区四区五区六区| 久久夜色精品亚洲噜噜国产mv| 国产精品三级久久久久久电影| 92久久精品| 日本道欧美一区二区aaaa| 国产精品亚洲二区| 羞羞视频网站免费| 日韩av在线影院| 欧美一区二区三区四区夜夜大片| 狠狠躁夜夜躁| 性欧美激情日韩精品七区| 亚洲欧洲一二三区| 亚洲乱小说| 国产丝袜在线精品丝袜91| 国产一区二区综合| 99久久精品一区二区| 88国产精品欧美一区二区三区三| 亚洲国产偷| 艳妇荡乳欲伦2| 国产一区二区在线观| 国产69精品久久久久777| 最新av中文字幕| 夜夜嗨av色一区二区不卡| 午夜影院试看五分钟| 国模吧一区二区| 国产一级片网站| 欧美日韩国产在线一区二区三区| 久久精品综合| 电影91久久久| 国产91免费在线| 欧美激情在线观看一区| 国产主播啪啪| 欧美一区二区三区爽大粗免费| 亚洲精品中文字幕乱码三区91| 欧美视屏一区二区| 久免费看少妇高潮a级特黄按摩| 欧美一区二区三区激情在线视频| 亚洲欧洲另类精品久久综合| 国产一区二区三区久久久| 久久夜色精品国产亚洲| 日韩av在线高清| 国产一区二区二| 国产天堂一区二区三区| 手机看片国产一区| 亚洲欧美视频一区二区| 综合久久国产九一剧情麻豆| 欧美日韩国产精品综合| 国产精品免费一视频区二区三区 | 浪潮av色| 97视频久久久| 国产麻豆一区二区| 久久精品亚洲精品国产欧美| 欧美在线观看视频一区二区| 香蕉视频在线观看一区二区| 国产一区2| 日本高清二区| 日韩精品久久久久久久的张开腿让|