[發明專利]一種大數據分析流程的執行計劃生成方法

有效

• 申請號: 201711148535.3
• 申請日: 2017-11-17
• 公開（公告）號: CN107885587B
• 公開（公告）日: 2018-12-07
• 發明（設計）人: 王建民;龍明盛;孫家廣;裴忠一;黃向東
• 申請（專利權）人: 清華大學
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06Q10/10
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王瑩;吳歡燕

1.一種大數據分析流程的執行計劃生成方法，其特征在于，包括：

將每個分析任務的描述保存到第一內存哈希表中，所述分析任務的描述包括任務地址、任務名稱、任務參數值、依賴任務序列和依賴任務輸出端口；

遍歷所述第一內存哈希表中的所有的分析任務，對所述分析任務進行實例化；

再次遍歷所述第一內存哈希表中的所有的分析任務，補充所述分析任務的依賴關系；

生成所述分析任務對應的任務實例；

若判斷獲知分析任務對應的任務實例未執行完成且所述任務實例存在依賴任務，則遍歷依賴任務序列，并執行所述依賴任務序列中的所述依賴任務；

在執行完所述依賴任務序列中的所述依賴任務以后，若判斷獲知所述任務實例執行完成，則生成任務結果文件；

所述遍歷所述第一內存哈希表中的所有的分析任務，對所述分析任務進行實例化具體為：

根據所述分析任務的任務名稱，從外部標準化算子庫中獲取實現所述分析任務的算法的參數元信息、輸入和輸出信息、執行環境和可執行文件；

創建所述任務實例的對象，生成數據庫記錄，所述數據庫記錄存儲所述任務實例的任務實例地址、任務實例執行狀態標識和任務實例輸出結果地址；

創建所述任務實例的目錄，用來存儲與所述任務實例相關的中間結果文件和狀態標記文件；

根據所述參數元信息補全所述任務參數值缺失的默認值；

為所述任務實例輸出的中間結果生成中間結果地址，按照所述目錄保存到第二內存哈希表中；

根據所述執行環境和所述可執行文件生成第三方程序平臺的可執行的任務實例，并將所述參數元信息傳入所述任務實例，再將所述任務實例保存到第三內存哈希表中；

所述再次遍歷所述第一內存哈希表中的所有的分析任務，補充所述分析任務的依賴關系具體為：

獲取所述分析任務的所述依賴任務序列；

將所述分析任務的依賴屬性保存到所述任務實例中，所述依賴屬性為所述分析任務的所述依賴任務序列；

將依賴實例的輸出結果作為所述任務實例的輸入數據，所述依賴實例為依賴任務的任務實例，所述依賴任務為所述依賴任務序列中與所述分析任務相依賴的其他分析任務。

2.根據權利要求1所述的方法，其特征在于，所述方法還包括：

根據所述任務實例的執行狀態標識判斷所述任務實例是否執行完成，所述執行狀態標識包括第一標識以及第二標識，所述第一標識用于表示所述任務實例的執行過程中發生異常，所述第二標識用于表示所述任務實例的執行過程中未發生異常。

3.根據權利要求1所述的方法，其特征在于，所述執行所述任務實例具體為：

調用第三方程序執行所述任務實例中指定的可執行文件，所述指定的可執行文件為實現所述分析任務的算法的可執行文件。

4.根據權利要求1或3所述的方法，其特征在于，所述第三方程序為Spark客戶端程序或者Python解釋器程序。

5.根據權利要求1所述的方法，其特征在于，所述分析任務的描述的結構采用JSON格式。