[發明專利]一種分布式作業調度和執行方法插件化的方法及系統

在審

• 申請號: 202011382758.8
• 申請日: 2020-12-01
• 公開（公告）號: CN114579326A
• 公開（公告）日: 2022-06-03
• 發明（設計）人: 劉慧娟;黃明;張云龍;蔡黎明;卿林鑫;姚雨薇;滕逸龍;周明
• 申請（專利權）人: 上海寶信軟件股份有限公司
• 主分類號: G06F9/54
• 分類號: G06F9/54;G06F9/48;G06F8/65
• 代理公司: 上海漢聲知識產權代理有限公司 31236
• 代理人: 胡晶

本發明提供了一種分布式作業調度和執行系統插件化的方法及系統，方法包括：包括：插件配置管理步驟、插件任務配置管理步驟、插件版本管理步驟、插件緩存管理步驟、任務觸發執行管理步驟和插件任務執行步驟。本發明已經在工業互聯網平臺xIn3Plat中得到實現，實現了定制化業務作業的執行，本發明已經在多個數據治理項目中得以使用，在保障了分布式作業調度和執行系統穩定性可靠性的前提下，有效解決了分布式作業調度和執行系統輕松滿足各種復雜且頻繁變更的業務需求的場景，在今后任何應用xIn3Plat的項目中，都可以應用本發明。

技術領域

本發明涉及分布式調度領域，具體地，涉及一種分布式作業調度和執行方法插件化的方法及系統。

背景技術

隨著工業的信息化與智能化發展推進，工業生產及企業管理過程中產生的數據越來越多，以及這些數據的價值在日益提升。如何妥善管理和利用好這些數據，讓這些數據變為更有價值的資產，面臨著以下的挑戰：

1.數據分布在各個孤島

工業生產過程中產生的數據分布在各個生產基地，以及企業管理產生的數據分散在各個孤立的信息系統，對妥善管理和利用這些數據資產帶了極大的困擾。

2.數據多樣化

工業生產及企業管理產生的數據類型多樣化，有結構化數據、時序數據、非結構化數據，此外，數據內容也是各式各樣，沒有按照標準或規范進行處理。這些對數據資產的管理和利用也是一個極大的挑戰。

直接對各個信息孤島的數據，進行統一的管理和利用顯然是不可行的，將各個孤島的數據統一采集進入數據湖才是更為可行的方法，這一過程需要一個作業調度和執行系統來支撐。另外，進入數據湖中多樣化的原始數據，顯然也不適合直接拿來使用，還需要進行處理，這個過程同樣也需要一個作業調度和執行系統來支撐。最終基于處理過后的數據進行管理和利用，則會事半功倍。

結合上面描述的場景，可以看出，這個作業調度和執行系統，至少需要調度和執行大量的多樣化數據源的數據采集作業、多種復雜的業務數據處理作業。顯然，滿足以下幾個功能的作業調度和執行系統是迫切需要的：

1.分布式可線性擴展；

2.穩定可靠的運行；

3.輕量化調度和執行；

4.定制化業務作業的執行；

現有的分布式作業調度和執行系統，在穩定可靠的運行、輕量化調度和執行中的一個或兩個方面做得比較優秀，但在定制化業務作業的執行方面甚少涉足。它們通常為了支持更多業務場景，而提供更為豐富的任務類型供用戶選擇，然而，現實是業務場景要遠遠比這些任務類型多得多。一旦有新的需求，那么只能在作業調度和執行系統中開發新的任務類型，待開發完成后，重編編譯發布新版本，然后上線至作業調度和執行系統的生產環境。

這樣一來，即便作業調度和執行系統能夠很好的支持滾動升級，也難免因為升級過程中部分節點的重啟導致作業執行抖動，執行比平時慢，從而波及其他相關業務。更加雪上加霜的是，需求變更非常頻繁，從而導致作業調度和執行系統頻繁升級上線。整個體驗必然是不夠友好的。

出于以上原因，現有的作業調度和執行系統無法滿足需求，迫使我們探究更為適合的分布式作業調度和執行系統。

發明內容

針對現有技術中的缺陷，本發明的目的是提供一種分布式作業調度和執行方法插件化的方法及系統。

根據本發明的一個方面，提供了一種分布式作業調度和執行方法插件化的方法，包括如下步驟：

插件配置管理步驟，提供與用戶的交互，包括：創建插件、上傳插件程序包、刪除插件、更新插件配置、更新插件程序包和查詢插件信息；