[發明專利]一種基于內存計算的分布式數據分析處理方法

在審

• 申請號: 201510839621.3
• 申請日: 2015-11-27
• 公開（公告）號: CN105426504A
• 公開（公告）日: 2016-03-23
• 發明（設計）人: 朱志祥;肖躍雷;張龍興;陳曉
• 申請（專利權）人: 陜西艾特信息化工程咨詢有限責任公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于內存計算框架的分布式數據分析處理方法，其特征在于，包括以下步驟：

1）提供一個類SQL解析器，將傳入的查詢分析文本解析為相應的邏輯計劃，并進行初步優化；

2）提供一個任務轉換器，將類SQL解析器生成的邏輯計劃轉換為可為大數據內存計算模型識別的計算表達式，包含多個自定義的轉化類；

3）提供一個查詢優化器，將傳入的內存計算模型可識別的表達式轉化為邏輯計劃同時對邏輯計劃進行優化，然后轉化為物理執行計劃，即將優化后的邏輯執行計劃映射到物理執行操作類，這些操作類都是對RDD的操作，也就是對數據的操作。

2.如權利要求1所述的方法，其特征在于：所述步驟1）中所述類SQL解析器的程序語言為類SQL語言，該程序語言具有易于編程，自動優化，可擴展性強等優點，可以輕松實現簡單的并行執行任務和“尷尬并行”的數據分析任務，且編碼后的任務允許系統自動優化執行方式，同時用戶可以創建自己的函數以便做特殊處理，大大減輕了程序員的負擔。

3.如權利要求1所述的方法，其特征在于：所述步驟2）中所述任務轉換器用于實現數據處理任務向大數據內存計算模型轉換，例如數據的讀取、分割、存儲等都要按照內存計算模型處理數據的方式進行；類SQL解析器產生的邏輯計劃若包含并集，交集等算子則直接轉換為大數據內存計算模型自帶的并集，交集算子；

而不能直接轉換為內存計算模型可識別的數據處理算子，如求唯一不同值，求和等操作則轉化為內存計算模型可識別的RDD表達式。

4.如權利要求1所述的方法，其特征在于：所述步驟3）中所述查詢優化器的具體執行邏輯完全交給內存計算模型的有向無環圖調度器去切分，切分作業為多個操作過程，并內部轉化為多個任務集，由任務調度器完成任務的調度，并最終交由相應的節點進行執行；具體的執行步驟如下：

31）將傳入的查詢分析文本翻譯成邏輯計劃；

32）查詢優化器對邏輯計劃進行優化；

33）經過一系列的轉化將邏輯計劃轉化為物理計劃，同時部分操作進行進一步優化，例如求交集等；

34）物理計劃中的每個節點都有一個execute()執行方法，可執行一個或多個RDD的操作，這些RDD的操作就是數據查詢分析的方法。