[發明專利]一種Gaia系統中面向迭代計算的并行度動態調整方法

在審

• 申請號: 202111149214.1
• 申請日: 2021-09-29
• 公開（公告）號: CN113835896A
• 公開（公告）日: 2021-12-24
• 發明（設計）人: 季航旭;韋劉國;趙宇海;王國仁;吳剛;李博揚
• 申請（專利權）人: 東北大學;北京理工大學
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/54;G06F9/455
• 代理公司: 沈陽東大知識產權代理有限公司 21109
• 代理人: 李珉

1.一種Gaia系統中面向迭代計算的并行度動態調整方法，其特征在于：

根據分布式集群的使用情況預設目標資源利用率；

收集用于并行度調整的統計信息數據；

在迭代作業運行時動態調整并行度資源，計算并行度；

保存迭代狀態。

2.根據權利要求1所述的一種Gaia系統中面向迭代計算的并行度動態調整方法，其特征在于：具體包括以下步驟：

步驟1、用戶通過并行度調整接口根據分布式集群的使用情況預設目標資源利用率；

步驟2、基于心跳機制采集心跳信息；Gaia系統的心跳監控器TaskExecutor向作業管理器JobMaster進行心跳匯報的過程中，在周期性定時心跳過程中的Payload負載信息中增加非連接狀態統計信息的匯報；

步驟3、以用戶預設的目標資源利用率為目標，基于面向迭代計算的并行度機制動態調整并行度；

基于數據流作業的迭代特性，根據并行度機制在迭代作業運行時調整并行度資源；根據迭代過程中收集的系統統計信息，對計算系統資源以并行度的形式進行動態調整；

步驟4、迭代狀態保存：利用Gaia迭代計算的特性，在迭代同步障礙處進行迭代狀態的保存。

3.根據權利要求2所述的一種Gaia系統中面向迭代計算的并行度動態調整方法，其特征在于：所述心跳機制收集用于調整并行度的統計信息數據。

4.根據權利要求3所述的一種Gaia系統中面向迭代計算的并行度動態調整方法，其特征在于：步驟2所述非連接狀態統計信息包括：1)當前含有迭代計算的作業運行時的資源利用信息：包括對分布式集群的CPU使用核心線程數量及使用百分比、內存占用百分比、磁盤占用百分比及網絡帶寬這些資源已占用量和總量的統計；2)Gaia系統執行作業時輸入的數據集特征：包括數據集的大小、元素數量和數據鍵值的分布。

5.根據權利要求4所述的一種Gaia系統中面向迭代計算的并行度動態調整方法，其特征在于：步驟2所述TaskExecutor向JobMaster進行心跳匯報的過程包括初始化階段、注冊階段和心跳階段；

所述初始化階段為：JobMaster在啟動時調用心跳服務類HeartbeatServices類中的createHeartbeatManagerSender()方法；此方法用來創建一個taskExecutorHeartbeatManager對象，該對象負責對與其連接的所有TaskExecutor進行心跳管理，它會周期性地啟動定時器，定期對其管理的對象進行掃描，然后對其發送心跳請求；TaskExecutor創建jobMasterHeartbeatManager對象對JobMaster的心跳信息進行管理；

所述注冊階段為：在資源管理器ResourceManager將TaskExecutor分配給相應的JobMaster之后，被分配的TaskExecutor會主動向JobMaster進行信息注冊，其通過遠程過程調用RPC來調用JobMaster的registerTaskExecutor()方法；JobMaster在收到遠程RPC調用之后，首先執行本地方法接受TaskExecutor的注冊，然后通過taskExecutorHeartbeatManager的monitorTarget()方法將此TaskExecutor加入監控目標；最后將監控對象封裝為HeartbeatMonitor，并啟動一個具有超時時間的心跳定時器；在注冊完TaskExecutor之后，JobMaster會向其發送一個注冊成功消息，在TaskExecutor端會以同樣的方式對JobMaster進行心跳監控；

所述心跳階段為：JobMaster和TaskExecutor之間的心跳檢測過程是雙向的；TaskExecutor通過心跳機制向JobMaster進行負載信息的采集和上報；首先，JobMaster會定時通過RPC遠程調用TaskExecutor的heartbeatFromTaskExecutor()方法，TaskExecutor接收到此RPC請求之后，調用對應HeartbeatMonitor類中的reportHeartbeat()方法，然后TaskExecutor主動調用reportPayload()方法，將采集到的負載信息發送給JobMaster。