[發明專利]一種大數據分析流程的執行計劃生成方法

有效

• 申請號: 201711148535.3
• 申請日: 2017-11-17
• 公開（公告）號: CN107885587B
• 公開（公告）日: 2018-12-07
• 發明（設計）人: 王建民;龍明盛;孫家廣;裴忠一;黃向東
• 申請（專利權）人: 清華大學
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06Q10/10
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王瑩;吳歡燕

本發明提供一種大數據分析流程的執行計劃生成方法，所述方法根據每個分析任務生成了可執行的任務實例，然后根據任務實例中保存的依賴關系，建立有向無環圖，按照依賴關系遍歷依賴任務序列，并執行依賴實例，所述依賴實例為依賴任務的任務實例，所述依賴任務為所述依賴任務序列中與所述分析任務相依賴的其他分析任務，然后執行所述任務實例，生成任務結果文件。本發明提供的大數據分析流程的執行計劃生成方法，根據大數據分析流程中分析任務具有數據傳遞關系的特點，以規則的形式強化了分析任務之間在數據上的關聯關系，提高了大數據分析的效率，降低了大數據分析對技術人員技能的要求，避免將數據透露給大數據分析提供商，降低了安全風險。

技術領域

本發明涉及大數據技術領域，尤其涉及一種大數據分析流程的執行計劃生成方法。

背景技術

隨著大數據技術的不斷發展，市場上出現了許多相關技術和產品，成為大數據獲取、存儲、處理分析或可視化的有效手段。但使用這些技術和產品存在較高的技術門檻，怎樣將大數據技術以標準化的形式組織起來，為使用者提供便捷、高效的使用方法，成為一項巨大挑戰。傳統的工作流引擎作為各個領域應用系統的一部分，具備較好的通用性和完備性，但流程定義復雜，強調角色、分工、信息傳遞路由、內容等級等執行業務流程的解決方案，并不適合聚焦于數據傳遞、數據處理和分析、結果展現等方面的大數據分析流程。大數據分析流程中的任務多種多樣，但具備一些特殊性質。比如幾乎所有任務都需要傳入數據，而任務的輸出也局限于模型、數據、計算結果這幾類。另外，任務之間除了調度上的先后關系，還包括數據上的傳遞關系。這些性質決定了大數據分析流程需要更具針對性的技術手段來組織和執行。

現有技術中，大數據分析服務提供商提供一系列基于云平臺的大數據分析產品。但是，這些大數據分析產品并不開源，產品的使用需要較高的技術門檻，對操作者的技術水平有較高的要求，并且，對于企業用戶來說，云端的大數據分析產品無法與本地系統結合，難以適應企業系統中的特殊數據分析需求。同時，將關乎企業命脈的核心數據大批量存放到服務提供商運營的云平臺上，存在巨大的安全風險。

發明內容

(一)要解決的技術問題

本發明的目的是提供一種大數據分析流程的執行計劃生成方法，解決了現有技術中的大數據分析產品的使用技術門檻高，分析效率低。

(二)技術方案

為了解決上述技術問題，一方面，本發明提供一種大數據分析流程的執行計劃生成方法，包括：

若判斷獲知分析任務對應的任務實例未執行完成且所述任務實例存在依賴任務，則遍歷依賴任務序列，并執行所述依賴任務序列中的所述依賴任務；

在執行完所述依賴任務序列中的所述依賴任務以后，若判斷獲知所述任務實例執行完成，則生成任務結果文件。

進一步地，所述方法還包括：

根據所述任務實例的執行狀態標識判斷所述任務實例是否執行完成，所述執行狀態標識包括第一標識以及第二標識，所述第一標識用于表示所述任務實例的執行過程中發生異常，所述第二標識用于表示所述任務實例的執行過程中未發生異常。

進一步地，所述執行所述任務實例具體為：

調用第三方程序執行所述任務實例中指定的可執行文件，所述指定的可執行文件為實現所述分析任務的算法的可執行文件。

進一步地，還包括：

將每個分析任務的描述保存到第一內存哈希表中，所述分析任務的描述包括任務地址、任務名稱、任務參數值、依賴任務序列和依賴任務輸出端口；

遍歷所述第一內存哈希表中的所有的分析任務，對所述分析任務進行實例化；

再次遍歷所述第一內存哈希表中的所有的分析任務，補充所述分析任務的依賴關系；