[發明專利]一種面向分布式數據挖掘工作流的調度系統

在審

• 申請號: 202110650899.1
• 申請日: 2021-06-10
• 公開（公告）號: CN113553353A
• 公開（公告）日: 2021-10-26
• 發明（設計）人: 李暉;李一水;周彧
• 申請（專利權）人: 貴州優聯博睿科技有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/25;G06F16/27;G06F9/445;G06Q10/04;G06Q10/06;G06Q10/10
• 代理公司: 北京華創智道知識產權代理事務所(普通合伙) 11888
• 代理人: 彭隨麗

本發明公開了一種面向分布式數據挖掘工作流的任務調度系統，涉及數據挖掘領域，包括功能模塊、搜索模塊、控件模塊、畫布模塊，各個模塊在所述系統的用戶界面包括功能模塊對應的功能區，搜索模塊對應的搜索區，控件模塊對應的控件區，畫布模塊對應的畫布區；針對傳統的數據挖掘任務調度技術存在的問題，本發明設計了一個面向基于工作流的分布式數據挖掘任務的調度系統，針對數據挖掘工作流任務中并行子任務總完成時間這個指標，設計了一種長任務優先(LTF)調度算法，并使用分布式技術使數據挖掘任務分布式進行，大大提高了數據挖掘任務的執行效率。

技術領域

本發明涉及數據挖掘領域，具體是一種面向分布式數據挖掘工作流的調度系統。

背景技術

隨著互聯網、大數據和云計算等信息技術的飛速發展，人類社會進入信息時代，數據產生的規模和速度呈指數級增長，形成了海量數據。如何從海量數據中提取出有價值的信息，數據挖掘技術和數據分析技術是常用的方法。數據挖掘和數據分析的區別在于：數據分析的目標明確，先做假設，然后通過數據分析來驗證假設是否正確，從而得到相應的結論。而數據挖掘在挖掘信息前，沒有一個明確的目標，可以從數據中尋找未知的模式與規律。數據挖掘與數據分析相比，可以最大化的發揮數據的價值，從數據中挖掘出潛在的、有價值的知識。

隨著企業數據量的不斷積累，數據已成為企業的一種無形資產。數據蘊含豐富的信息，從不同的角度對數據進行挖掘分析，可以得到不同的知識，深挖數據價值已成為許多企業近幾年來提高效益的途徑。在分布式數據挖掘系統中，對同一數據集使用多種挖掘算法進行數據挖掘時，需要一種恰當的調度策略來對并行的數據挖掘任務進行調度，以達到較好的QoS性能指標。

目前常用的分布式任務調度平臺有XXL-JOB、Easy Scheduler以及南京云創大數據的JobKeeper。這些任務調度平臺主要是針對定時任務或以整個工作流任務為調度單元進行調度，沒有考慮工作流任務中多個并行子任務如何調度的問題。

發明內容

本發明的目的在于提供一種面向分布式數據挖掘工作流的調度系統，以解決上述背景技術中提出的問題。

為實現上述目的，本發明提供如下技術方案：

一種面向分布式數據挖掘工作流的調度系統，包括功能模塊、搜索模塊、控件模塊、畫布模塊，各個模塊在所述系統的用戶界面包括功能模塊對應的功能區，搜索模塊對應的搜索區，控件模塊對應的控件區，畫布模塊對應的畫布區；

所述功能模塊用于實現用戶通過功能區對任務進行的操作，包括新建、保存、打開工作流，交互式執行工作流，刪除控件操作；

所述搜索模塊用于實現用戶通過搜索區對控件搜索，用戶在搜索欄中輸入控件名稱，快速查找出所需要的控件；

所述控件模塊用于提供常用的數據加載、數據預處理和數據挖掘控件，用戶通過控件區選擇需要的控件；

所述畫布模塊對應于構建數據挖掘工作流任務的畫布區，通過鼠標選中控件區的控件拖拽到畫布，點擊控件相對應的輸入和輸出則出現一條曲線將兩個控件連接在一起，控件兩兩相連即構建一個數據挖掘工作流任務。

作為本發明進一步的方案：所述數據挖掘工作流的調度系統采用Workflow工作流框架來實現數據挖掘任務自動化執行。

作為本發明再進一步的方案：所述Workflow工作流框架包含如下表結構信息：

控件配置表：所述控件配置表用于存放配置的相關信息；

控件輸入端配置表：所述控件輸入端配置表用于存放控件輸入端配置的相關信息；

控件輸出端配置表：所述控件輸出端配置表用于存放控件輸出端配置的相關信息；

目錄表：所述目錄表用于存放控件目錄的相關信息；