[發明專利]一種由轉換原語生成Spark代碼的方法

有效

• 申請號: 201611252903.4
• 申請日: 2016-12-30
• 公開（公告）號: CN106843858B
• 公開（公告）日: 2020-06-09
• 發明（設計）人: 張天;潘敏學;楊宇飛;劉撥杰;車開達;李宣東
• 申請（專利權）人: 南京大學
• 主分類號: G06F8/33
• 分類號: G06F8/33;G06F8/35;G06F40/253;G06F40/151;G06F40/16
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 唐紹焜

1.一種由轉換原語生成Spark代碼的方法，其特征在于：包括步驟：

步驟10：設計表示數據模型變換的轉換原語文法；

所述步驟10的設計過程包括：

步驟20：規定轉換控制層原語ExecuteTransformation用來控制整個模型轉換的執行，調度ExecuteRule原語；

步驟21：規定轉換控制層原語ExecuteRule用來控制一條規則的執行，調度執行層原語；

步驟22：規定執行層原語MatchPattern根據輸入模式在模型中進行匹配，得到需轉換的輸入數據模型片段；

步驟23：規定執行層原語MatchObject根據指定條件，去查找滿足條件的匹配對象；

步驟24：規定執行層原語CreateObject來創建模型對象元素；

步驟25：規定執行層原語CreateReference來創建模型關系元素；

步驟26：規定表達式計算層原語EvaluateExpression用于進行復雜表達式計算；

步驟11：輸入數據變換的原語文件；原語文件是根據步驟10設計的轉換原語文法設計的，包含輸入數據模型、輸出數據模型和轉換規則的信息；

所述步驟11中設計原語文件的過程包括：

步驟30：打開eclipse創建原語xml文件；

步驟31：右鍵點擊添加ExecuteTransformation節點；

步驟32：右鍵點擊ExecuteTransformation節點添加Domain節點，并設置屬性為input_type；

步驟33：右鍵點擊Domain節點，添加兩個inputFile節點，存放要進行轉換的輸入文件信息；

步驟34：右鍵點擊ExecuteTransformation節點添加Domain節點，并設置屬性為output_type；

步驟35：右鍵點擊Domain節點，添加一個outputFile節點，存放轉換后的輸出文件信息；

步驟36：右鍵點擊ExecuteTransformation節點添加ExcuteRule節點；

步驟37：右鍵點擊ExecuteRule節點，添加兩個MatchType和一個joinKey節點，在該兩個節點里添加轉換規則；結束本次原語文件的設計；

步驟12：利用Xtext對步驟11設計的原語文件進行語法分析及語義轉換，并得到抽象語法樹；

步驟13：利用Xtend生成代碼生成器，建立轉換原語與Spark代碼之間的映射，并根據步驟12得到的抽象語法樹對原語文件進行語義轉換，生成對應的Spark代碼；

所述步驟13中利用Xtend生成代碼生成器，建立轉換原語與Spark代碼之間的映射的實現過程如下：

步驟50：將原語ExucuteTranformation轉化為Spark程序的執行入口，且調用輸入數據模型和輸出數據模型的靜態方法實現輸入輸出；

步驟51：將原語Domain_input和Domain_output轉化為對應輸入數據模型和輸出數據模型的類文件；

步驟52：原語ExucuteRule對應spark平臺上對RDD的操作集合，組成ExucuteRule的原語分別對應spark平臺上的具體操作；

步驟53：將原語MatchType中的name屬性對應Spark中RDD的創建；

步驟54：將原語Filter對MatchType對應的RDD進行原語Filter定義的過濾操作，調用RDD的Filter函數；

步驟55：將原語Statistics對MatchType對應的RDD進行原語Statistics定義的統計操作；

步驟56：將原語JoinKey對spark平臺上的兩個RDD的連接操作，提取關鍵值，分別生成一個PairRDDFunctions，再進行連接。