日韩在线一区二区三区,日本午夜一区二区三区,国产伦精品一区二区三区四区视频,欧美日韩在线观看视频一区二区三区 ,一区二区视频在线,国产精品18久久久久久首页狼,日本天堂在线观看视频,综合av一区

[發明專利]一種基于內存計算的分布式數據分析處理方法在審

專利信息
申請號: 201510839621.3 申請日: 2015-11-27
公開(公告)號: CN105426504A 公開(公告)日: 2016-03-23
發明(設計)人: 朱志祥;肖躍雷;張龍興;陳曉 申請(專利權)人: 陜西艾特信息化工程咨詢有限責任公司
主分類號: G06F17/30 分類號: G06F17/30
代理公司: 暫無信息 代理人: 暫無信息
地址: 712000 陜西省咸陽*** 國省代碼: 陜西;61
權利要求書: 查看更多 說明書: 查看更多
摘要:
搜索關鍵詞: 一種 基于 內存 計算 分布式 數據 分析 處理 方法
【說明書】:

技術領域

本文涉及一種大數據分析技術領域,具體是一種基于內存計算框架的分布式數據分析處理方法。

背景技術

隨著云計算時代的來臨,“大數據”這一新興詞匯也吸引了越來越多的關注;所謂大數據是指無法在可承受的時間范圍內用常規軟件工具進行捕捉、管理和處理的數據集合;大數據的意義并不單純的指掌握巨大的數據信息,而在于如何提取大量數據所包含的關鍵信息,即如何對大數據進行處理分析;當然對海量數據進行分布式數據挖掘,必須依托于云計算的分布式處理、分布式數據庫和云存儲、虛擬化技術等。

互聯網飛速發展,信息化數據急劇膨脹,海量數據的分析處理所面臨的難題也越來越多;此外,云計算平臺的不斷發展也為數據的處理分析帶來新的挑戰和機遇,傳統的數據分析方法也越來越無法滿足要求;大數據作為一種新興的產業,其獲取利益的關鍵就在于通過對數據的“加工”實現數據的“增值”,“加工”的速率必然決定利益“增值”的空間,所以如何快速對海量數據進行查詢分析變的尤為重要。

傳統的數據分析平臺對數據的分析處理不具有實時性,這是因為傳統的數據計算框架存在必須讀取存儲的缺點,在數據量過大時往往處理緩慢,導致大量的延遲;而新的計算框架基于內存計算的方法,不僅繼承傳統計算框架分布式的處理框架,能自動優化計算過程等,而且彌補了傳統計算框架不具有實時性的缺點,使得數據處理速度極大提升;因此我們需要一個可基于新的內存式計算框架來進行數據分析處理的平臺,從而使大數據處理更加快捷方便。

發明內容

本發明的目的在于設計與實現一種基于內存計算的分布式數據分析處理方法;它充分利用了分布式計算的優點將任務進行分解,多臺計算機共同處理,大大提高計算效率,同時在內存中進行計算,避免中間數據或結果在存儲系統中的反復讀寫,大大減少計算時間;同時本數據查詢分析處理方法提供的語言為類結構化查詢語言(StructuredQueryLanguage,SQL)語言,使得數據處理程序的編寫難度也大大降低,提高可用性。

本發明的技術實現方案如下。

一種基于內存計算的分布式數據分析處理方法,該方法包括以下實現步驟。

1)提供一個類SQL解析器,將傳入的查詢分析文本解析為相應的邏輯計劃,并進行初步優化。

2)提供一個任務轉換器,將類SQL解析器生成的邏輯計劃轉換為可為大數據內存計算模型識別的計算表達式,包含多個自定義的轉化類。

3)提供一個查詢優化器,將傳入的內存計算模型可識別的表達式轉化為邏輯計劃同時對邏輯計劃進行優化,然后轉化為物理執行計劃,即將優化后的邏輯執行計劃映射到物理執行操作類,這些操作類都是對彈性分布式數據集(ResilientDistributedDatasets,RDD)的操作,也就是對數據的操作。

上述步驟1)中所述類SQL解析器的程序語言為類SQL語言,該程序語言具有易于編程,自動優化,可擴展性強等優點,可以輕松實現簡單的并行執行任務和“尷尬并行”的數據分析任務,且編碼后的任務允許系統自動優化執行方式,同時用戶可以創建自己的函數以便做特殊處理,大大減輕了程序員的負擔。

上述步驟2)中所述任務轉換器用于實現數據處理任務向大數據內存計算模型轉換,例如數據的讀取、分割、存儲等都要按照內存計算模型處理數據的方式進行;類SQL解析器產生的邏輯計劃若包含并集,交集等算子則直接轉換為大數據內存計算模型自帶的并集,交集算子;而不能直接轉換為內存計算模型可識別的數據處理算子,如求唯一不同值,求和等操作則轉化為內存計算模型可識別的RDD表達式。

上述步驟3)中所述查詢優化器的具體執行邏輯完全交給內存計算模型的有向無環圖調度器去切分,切分作業為多個操作過程,并內部轉化為多個任務集,由任務調度器完成任務的調度,并最終交由相應的節點進行執行;具體的執行步驟如下。

31)將傳入的查詢分析文本翻譯成邏輯計劃。

32)查詢優化器對邏輯計劃進行優化。

33)經過一系列的轉化將邏輯計劃轉化為物理計劃,同時部分操作進行進一步優化,例如求交集等。

34)物理計劃中的每個節點都有一個execute()執行方法,可執行一個或多個RDD的操作,這些RDD的操作就是數據查詢分析的方法。

下載完整專利技術內容需要扣除積分,VIP會員可以免費下載。

該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于陜西艾特信息化工程咨詢有限責任公司,未經陜西艾特信息化工程咨詢有限責任公司許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作,請聯系【客服

本文鏈接:http://www.szxzyx.cn/pat/books/201510839621.3/2.html,轉載請聲明來源鉆瓜專利網。

×

專利文獻下載

說明:

1、專利原文基于中國國家知識產權局專利說明書;

2、支持發明專利 、實用新型專利、外觀設計專利(升級中);

3、專利數據每周兩次同步更新,支持Adobe PDF格式;

4、內容包括專利技術的結構示意圖、流程工藝圖技術構造圖;

5、已全新升級為極速版,下載速度顯著提升!歡迎使用!

請您登陸后,進行下載,點擊【登陸】 【注冊】

關于我們 尋求報道 投稿須知 廣告合作 版權聲明 網站地圖 友情鏈接 企業標識 聯系我們

鉆瓜專利網在線咨詢

周一至周五 9:00-18:00

咨詢在線客服咨詢在線客服
tel code back_top
主站蜘蛛池模板: 国产精品一区二区三区在线看| 欧美日韩一区二区高清| 午夜爱爱电影| 欧美一区久久| 色综合久久网| 国产1区2区视频| 午夜亚洲国产理论片一二三四| 午夜免费网址| 国产农村乱色xxxx| 天干天干天干夜夜爽av| 国产农村妇女精品一二区| 欧美精品五区| 91国产一区二区| 中文字幕欧美日韩一区| 欧美一级久久久| 国产美女三级无套内谢| 国产91免费在线| 欧美日韩一区二区高清| 精品久久久影院| 99精品欧美一区二区| 日韩a一级欧美一级在线播放| 国产欧美一区二区精品性色超碰| 国偷自产一区二区三区在线观看 | 国产精品久久久久免费a∨大胸 | 欧美国产亚洲精品| 精品国产一区在线| 午夜伦理片在线观看| 久久国产精彩视频| 欧美在线精品一区| 久久综合二区| 91丝袜国产在线播放| 亚洲国产精品国自产拍久久| 91看片淫黄大片91| 国产高清不卡一区| 一区二区不卡在线| xxxxx色| 免费看片一区二区三区| 亚洲国产欧美一区| 99欧美精品| 国产精品三级久久久久久电影| 中文在线一区二区三区| 日韩毛片一区| 亚洲国产精品一区在线观看| 国产经典一区二区| 97人人添人人爽一区二区三区| 国产91精品高清一区二区三区| 久久精品国产亚洲一区二区| 欧美一区二区三区免费观看视频| 国产免费一区二区三区网站免费| 久久精品国产99| 91久久国产露脸精品国产| 91热国产| 亚洲少妇一区二区三区| 亚洲影院久久| 精品国产一区二区三区高潮视| 国产精品黑色丝袜的老师| 999国产精品999久久久久久| 国产午夜精品一区二区理论影院 | 99国产精品久久久久| 久久99精| 少妇中文字幕乱码亚洲影视| 国产91电影在线观看| 国产精自产拍久久久久久蜜| 少妇久久免费视频| 国产一区二区91| 欧美日韩一区二区在线播放| 亚洲精欧美一区二区精品| 国产精品禁18久久久久久| 91国产一区二区| 午夜生活理论片| 中文字幕av一区二区三区四区| 国产理论一区二区三区| 国产一区二区播放| 精品国产伦一区二区三区| 日日夜夜精品免费看| 亚洲欧美国产一区二区三区 | 国产精品久久91| 91福利视频导航| 91精品夜夜| 亚洲精品一区二区另类图片| 中文字幕欧美一区二区三区 | 久久国产精品久久| 亚洲乱在线| 97久久国产亚洲精品超碰热| 精品国产91久久久久久久 | 欧美一区二粉嫩精品国产一线天 | 日本午夜影视| 亚洲久色影视| 91免费视频国产| 亚洲国产精品入口| 夜夜躁日日躁狠狠久久av| 强制中出し~大桥未久在线播放| av狠狠干| 国产一区二区免费电影| 视频一区二区三区欧美| 国产在线视频99| 女女百合互慰av| 欧美一区二区三区不卡视频| 久久婷婷国产麻豆91天堂徐州| 99精品免费在线视频| 97国产婷婷综合在线视频,| 日韩精品一区二区中文字幕| 日韩精品中文字幕一区| 狠狠色噜噜狠狠狠四色米奇| 免费观看又色又爽又刺激的视频| 国产麻豆一区二区三区在线观看| 国产精品偷伦一区二区| 国产91综合一区在线观看| 在线精品一区二区| 偷拍久久精品视频| 国产精品麻豆自拍| 亚洲精品久久久久中文字幕欢迎你| 国产91免费在线| xxxx国产一二三区xxxx| 国产韩国精品一区二区三区| 亚洲精品一区中文字幕| 欧美hdfree性xxxx| 国产乱子一区二区| 日本精品三区| 国产伦理一区| 欧美一区二区在线不卡| 69久久夜色精品国产7777| 青苹果av| 99久久国产综合精品麻豆 | 亚洲精欧美一区二区精品| 国产伦精品一区二区三区免费观看| 精品国产乱码一区二区三区a | 国产精品日韩一区二区三区| 欧美激情图片一区二区| 日韩欧美一区精品| 国产性猛交| 国产69精品福利视频| 午夜影院你懂的| 狠狠色噜噜狠狠狠四色米奇| 亚州精品国产| 久久国产欧美一区二区免费| 999亚洲国产精| 国产aⅴ精品久久久久久| 91麻豆精品国产91久久| 亚洲精品一区在线| 国产一区二区三区大片| 亚洲精品www久久久久久广东| 国产一区二区三区影院| 国产日本一区二区三区| 国产1区在线观看| 欧美一区二区三区视频在线观看| 一区二区在线国产| 国产欧美精品一区二区在线播放| 久久久久国产精品免费免费搜索| 51区亚洲精品一区二区三区| 欧美日韩亚洲另类| 97一区二区国产好的精华液| 欧美一区二区在线不卡| 香蕉免费一区二区三区在线观看| 国产1区2区视频| 欧美亚洲视频二区| 欧美国产精品久久| 视频一区欧美| 亚洲国产精品激情综合图片| 亚洲国产日韩综合久久精品 | 91精品一区二区中文字幕| 欧美日韩国产精品一区二区三区| 欧美乱大交xxxxx古装| 亚洲码在线| 午夜精品一区二区三区三上悠亚 | 欧洲另类类一二三四区| 亚洲国产精品入口| 国产伦精品一区二区三区免| 国产91视频一区| 在线国产一区二区三区| 99re热精品视频国产免费| 欧美一级免费在线视频| 欧美高清性xxxx| 久久国产视屏| 亚洲国产精品一区二区久久hs | 久久综合二区| 国产视频1区2区| 欧美激情精品一区| 日韩欧美中文字幕一区| 美日韩一区| 亚洲第一天堂久久| av素人在线| 欧美精品在线观看一区二区| 国产床戏无遮挡免费观看网站| 欧美乱大交xxxxx古装| 91一区在线观看| 片毛片免费看| 欧美在线视频精品| 少妇av一区二区三区| 欧美高清一二三区| 国产一级大片| 鲁丝一区二区三区免费| 国产精品无码永久免费888| 国产日韩欧美色图| 一本一道久久a久久精品综合蜜臀 国产三级在线视频一区二区三区 日韩欧美中文字幕一区 | 亚洲精品一区在线| 狠狠色噜噜狠狠狠四色米奇| 好吊妞国产欧美日韩免费观看网站| 日韩中文字幕一区二区在线视频| 国产欧美视频一区二区三区| 精品国产乱码久久久久久久久 | 久久精品入口九色| 国产日韩一区二区在线| 中文字幕日韩一区二区| 国产超碰人人模人人爽人人添| 欧洲另类类一二三四区| 国产精品久久免费视频| 91精彩刺激对白露脸偷拍| 欧美一区二区三区免费视频| 一区二区三区在线影院| 狠狠色丁香久久综合频道日韩| 国产一区二区三区四区五区七| 国产精品久久久不卡| 久久国产欧美一区二区免费| 国产呻吟久久久久久久92 | 88国产精品欧美一区二区三区三| 国产日本欧美一区二区三区| 日本一区二区三区电影免费观看| 国产日本欧美一区二区三区| sb少妇高潮二区久久久久| 国产欧美日韩精品一区二区三区| 久久一区二区精品| 国语对白一区二区| 久久99精品久久久野外直播内容| 色综合久久久久久久粉嫩| 香蕉av一区二区三区| 国产一区二区三区大片| 日本中文字幕一区| 国产欧美一区二区精品性| 福利视频亚洲一区| 99精品视频一区| 色综合久久网| 在线国产一区二区三区| 中文字幕1区2区3区| 狠狠色成色综合网| 91视频一区二区三区| 中文字幕一区二区三区乱码 | 国产欧美一区二区三区在线| 亚洲综合日韩精品欧美综合区| 日韩一区二区福利视频| 亚洲欧洲精品一区二区三区不卡| 天堂av色婷婷一区二区三区| 69久久夜色精品国产69–| 欧美一区二区三区在线免费观看 | 午夜色大片| 色综合久久网|