[發明專利]一種基于內存計算的分布式數據分析處理方法

在審

• 申請號: 201510839621.3
• 申請日: 2015-11-27
• 公開（公告）號: CN105426504A
• 公開（公告）日: 2016-03-23
• 發明（設計）人: 朱志祥;肖躍雷;張龍興;陳曉
• 申請（專利權）人: 陜西艾特信息化工程咨詢有限責任公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本文涉及一種大數據分析技術領域，具體是一種基于內存計算框架的分布式數據分析處理方法。

背景技術

隨著云計算時代的來臨，“大數據”這一新興詞匯也吸引了越來越多的關注；所謂大數據是指無法在可承受的時間范圍內用常規軟件工具進行捕捉、管理和處理的數據集合；大數據的意義并不單純的指掌握巨大的數據信息，而在于如何提取大量數據所包含的關鍵信息，即如何對大數據進行處理分析；當然對海量數據進行分布式數據挖掘，必須依托于云計算的分布式處理、分布式數據庫和云存儲、虛擬化技術等。

互聯網飛速發展，信息化數據急劇膨脹，海量數據的分析處理所面臨的難題也越來越多；此外，云計算平臺的不斷發展也為數據的處理分析帶來新的挑戰和機遇，傳統的數據分析方法也越來越無法滿足要求；大數據作為一種新興的產業，其獲取利益的關鍵就在于通過對數據的“加工”實現數據的“增值”，“加工”的速率必然決定利益“增值”的空間，所以如何快速對海量數據進行查詢分析變的尤為重要。

傳統的數據分析平臺對數據的分析處理不具有實時性，這是因為傳統的數據計算框架存在必須讀取存儲的缺點，在數據量過大時往往處理緩慢，導致大量的延遲；而新的計算框架基于內存計算的方法，不僅繼承傳統計算框架分布式的處理框架，能自動優化計算過程等，而且彌補了傳統計算框架不具有實時性的缺點，使得數據處理速度極大提升；因此我們需要一個可基于新的內存式計算框架來進行數據分析處理的平臺，從而使大數據處理更加快捷方便。

發明內容

本發明的目的在于設計與實現一種基于內存計算的分布式數據分析處理方法；它充分利用了分布式計算的優點將任務進行分解，多臺計算機共同處理，大大提高計算效率，同時在內存中進行計算，避免中間數據或結果在存儲系統中的反復讀寫，大大減少計算時間；同時本數據查詢分析處理方法提供的語言為類結構化查詢語言(StructuredQueryLanguage，SQL)語言，使得數據處理程序的編寫難度也大大降低，提高可用性。

本發明的技術實現方案如下。

一種基于內存計算的分布式數據分析處理方法，該方法包括以下實現步驟。

1）提供一個類SQL解析器，將傳入的查詢分析文本解析為相應的邏輯計劃，并進行初步優化。

2）提供一個任務轉換器，將類SQL解析器生成的邏輯計劃轉換為可為大數據內存計算模型識別的計算表達式，包含多個自定義的轉化類。

3）提供一個查詢優化器，將傳入的內存計算模型可識別的表達式轉化為邏輯計劃同時對邏輯計劃進行優化，然后轉化為物理執行計劃，即將優化后的邏輯執行計劃映射到物理執行操作類，這些操作類都是對彈性分布式數據集(ResilientDistributedDatasets，RDD)的操作，也就是對數據的操作。

上述步驟1）中所述類SQL解析器的程序語言為類SQL語言，該程序語言具有易于編程，自動優化，可擴展性強等優點，可以輕松實現簡單的并行執行任務和“尷尬并行”的數據分析任務，且編碼后的任務允許系統自動優化執行方式，同時用戶可以創建自己的函數以便做特殊處理，大大減輕了程序員的負擔。

上述步驟2）中所述任務轉換器用于實現數據處理任務向大數據內存計算模型轉換，例如數據的讀取、分割、存儲等都要按照內存計算模型處理數據的方式進行；類SQL解析器產生的邏輯計劃若包含并集，交集等算子則直接轉換為大數據內存計算模型自帶的并集，交集算子；而不能直接轉換為內存計算模型可識別的數據處理算子，如求唯一不同值，求和等操作則轉化為內存計算模型可識別的RDD表達式。

上述步驟3）中所述查詢優化器的具體執行邏輯完全交給內存計算模型的有向無環圖調度器去切分，切分作業為多個操作過程，并內部轉化為多個任務集，由任務調度器完成任務的調度，并最終交由相應的節點進行執行；具體的執行步驟如下。

31）將傳入的查詢分析文本翻譯成邏輯計劃。

32）查詢優化器對邏輯計劃進行優化。

33）經過一系列的轉化將邏輯計劃轉化為物理計劃，同時部分操作進行進一步優化，例如求交集等。

34）物理計劃中的每個節點都有一個execute()執行方法，可執行一個或多個RDD的操作，這些RDD的操作就是數據查詢分析的方法。