[發明專利]基于深度學習預測的分布計算系統及其運行方法

有效

• 申請號: 201711374503.5
• 申請日: 2017-12-19
• 公開（公告）號: CN109936473B
• 公開（公告）日: 2022-04-08
• 發明（設計）人: 錢力;王劍
• 申請（專利權）人: 北京華耀科技有限公司
• 主分類號: H04L41/147
• 分類號: H04L41/147;H04L41/14;H04L41/0896;H04L47/125;H04L47/10;H04L67/025;H04L67/1008;H04L67/1042;G06F9/50
• 代理公司: 北京太合九思知識產權代理有限公司 11610
• 代理人: 劉戈

1.一種基于深度學習預測的分布計算系統，其特征在于，所述分布計算系統包括調度節點、多個計算節點和數據集群；

所述數據集群用于定時從每個計算節點獲取運行狀態和任務處理速率，所述運行狀態包括所述計算節點的內存占用率和處理器占用率；

所述調度節點包括：負載預測節點，用于從所述數據集群獲取每個計算節點的運行狀態和任務處理速率，將每個計算節點的運行狀態和任務處理速率輸入到長短期記憶LSTM網絡得到每個計算節點的負載參數并判斷所有計算節點的平均負載參數是否大于第一負載閾值或小于第二負載閾值，每個計算節點的負載參數表示預定時間后的負載；以及

用戶節點，用于當所述負載預測節點確定所有計算節點的平均負載參數大于第一負載閾值時，創建新的計算節點，并當所述負載預測節點確定所有計算節點的平均負載參數小于第二負載閾值時，關閉部分計算節點；

分發節點，用于通過定向發送或以消息發布/訂閱的方式向所述計算節點分發任務，所述分發節點還用于將所述負載預測節點所得到的各計算節點的負載參數按從大到小的順序進行排序，并在排序后判斷相鄰負載參數的差值是否大于預定閾值，若有相鄰負載參數的差值大于所述預定閾值，則所述分發節點對各計算節點的任務分發進行調整以使得相鄰負載參數的差值不大于所述預定閾值；

代理節點，用于負責對來自外部數據源的數據進行預處理，將那些不滿足計算集群的數據格式要求的數據進行轉換，然后發送給分發節點；

管理數據庫，用于負責存儲計算節點信息，用戶需預先配置可用的計算節點信息；

鍵值數據庫，用于負責存儲節點狀態并用于在多個計算節點之間同步節點信息。

2.根據權利要求1所述的分布計算系統，其特征在于，所述用戶節點用于當所述負載預測節點確定所有計算節點的平均負載參數大于第一負載閾值時，根據所有計算節點的負載增幅來創建相應數量的計算節點，并當所述負載預測節點確定所有計算節點的平均負載參數小于第二負載閾值時，根據所有計算節點的負載降幅來關閉相應數量的計算節點。

3.根據權利要求1所述的分布計算系統，其特征在于，所述數據集群還用于定時從每個計算節點獲取原始數據處理速率、隊列中的原始數據數量和隊列中的任務數量；

所述負載預測節點用于從所述數據集群獲取預定量的訓練數據，并對預定量的訓練數據進行訓練得到所述LSTM網絡，所述訓練數據包括各計算節點的運行狀態、任務處理速率、原始數據處理速率、隊列中的任務數量和隊列中的原始數據數量。

4.根據權利要求3所述的分布計算系統，其特征在于，所述負載預測節點用于在上一次訓練后繼續從所述數據集群獲取預定量的訓練數據，并對上一次訓練后獲取的預定量的訓練數據進行訓練以更新所述LSTM網絡。