[發明專利]一種Gaia中支持多作業并行執行的代理方法

有效

• 申請號: 201911070906.X
• 申請日: 2019-11-05
• 公開（公告）號: CN110891083B
• 公開（公告）日: 2020-12-04
• 發明（設計）人: 王子萌;王國仁;趙宇海;鄭軍;李榮華
• 申請（專利權）人: 北京理工大學;東北大學
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 北京理工大學專利中心 11120
• 代理人: 高會允

本發明提供的一種Gaia中支持多作業并行執行的代理方法，在在群的每個節點中Gaia系統內均構建Netty客戶端；在主節點上Gaia系統內基于Netty的代理框架構建一個代理端；可以實現在作業收集的過程中，多個客戶端與代理端進行獨立通信，解決了因物理機不同導致Gaia作業無法互通提交的問題；代理端在接收到作業之后，通過一定的執行多作業的Slot資源分配策略取待合并的作業，對作業合并后再進行執行，該方法使得當前Slot數量能夠被最大程度地利用，執行最多的執行計劃計劃，增大一次作業執行的吞吐量。

技術領域

本發明涉及系統開發技術領域，具體涉及一種Gaia中支持多作業并行執行的代理方法。

背景技術

Gaia系統是一個面向多計算模型混合并存的高時效、可擴展的新一代大數據分析系統。在自適應、可伸縮的大數據存儲、批流融合大數據計算、高維大規模機器學習和高時效大數據智能交互向導等大數據分析系統的幾個核心層面，解決一系列關鍵技術問題，構建自主可控的高時效、可伸縮的新一代大數據分析系統，掌握國際領先的大數據分析系統核心技術。

Gaia系統針對批流混合任務具有全周期多尺度優化和統一計算引擎?，F有大數據計算系統或依托自身計算引擎模擬另一類框架的行為，或定義一套通用接口屏蔽底層計算引擎的差異，對批流融合支持較弱。同時，其優化大多位于執行的特定時期或特定層級，且針對高復雜性任務的優化能力不足。針對以上問題，Gaia系統創新性地開發了基于統一計算引擎和全周期多尺度優化的高性能批流融合大數據計算技術。該技術為批流融合處理提供統一表達邏輯支持，通過統一表達建模融合批流處理的計算模型、數據模型、變換模型和動作模型，實現批、流處理的真正融合。針對作業的多樣性、持久性、迭代性等特點，提供面向多作業、多任務、迭代計算、持久計算等優化策略，優化針對性更強。同時，提供執行前和執行中的全周期優化，并細分為作業級、任務級、變換級等多個尺度，以實現極速響應和海量吞吐。

在處理用戶作業方面，Gaia雖然高效，但是有一些可以優化的空間。在多用戶提交作業的時候，可能會有一些公共的行為，較為費時；也有一些占用CPU、任務槽的時間較長的作業。在占用的期間可以將等待的作業整合。即當前Gaia的執行過程用戶之間提交的作業無法互通，這就導致了相似的作業不能由已得到的結果來優化執行時間。當很多相似的需求到達的時候，Gaia也是串行執行這些業務邏輯。而單個用戶如果占滿了資源，剩下的作業只能通過串行等待的方式來等待執行，這也是低效的方式，有很大的優化空間。

因此目前缺少一種Gaia中的多作業并行執行的方法。

發明內容

有鑒于此，本發明提供了一種Gaia中支持多作業并行執行的代理方法，能夠實現Gaia系統中的多作業并行執行。

為達到上述目的，本發明的技術方案為：一種Gaia中支持多作業并行執行的代理方法，該方法運行在Gaia系統中，其中構建一個集群，集群包括至少一個主節點和至少一個從節點；每個節點中均運行Gaia系統。

在集群的每個節點中Gaia系統內均構建Netty客戶端；在主節點上Gaia系統內基于Netty的代理框架構建一個代理端；每個客戶端與代理端進行獨立通信。

該方法包括如下步驟：

集群中的所有節點均向主節點提交作業，送入代理端；作業中帶有Gaia作業文件。

客戶端取作業中的文件路徑初始化選項信息和用戶程序信息Program，發送給代理端。

客戶端獲取作業中的作業執行計劃，對作業執行計劃進行屬性拆解，依據拆解得到的屬性對作業執行計劃進行傳輸，傳輸至代理端；作業執行計劃中包括如下屬性：集合形式的數據終端、鍵值對形式的緩存文件、執行配置信息以及作業名稱。

代理端根據文件路徑初始化選項信息構建作業提交對象client，并依據用戶程序信息Program，對作業提交對象client進行初始化配置。