[發明專利]一種面向物聯網流計算的負載均衡和容錯方法

有效

• 申請號: 201711456506.3
• 申請日: 2017-12-28
• 公開（公告）號: CN109981710B
• 公開（公告）日: 2021-10-29
• 發明（設計）人: 毛峻嶺
• 申請（專利權）人: 中移物聯網有限公司;中國移動通信集團公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 姚文嫻;張穎玲

本發明實施例公開了一種面向物聯網流計算的負載均衡和容錯方法和任務領取節點，對任務池中當前任務領取節點標識對應的任務信息進行加鎖，將任務信息中的更新時間修改為當前時間，對修改后的任務信息進行解鎖；計算當前的負載冗余時間；若當前的負載冗余時間大于第一門限值，在等待第一預設時間后，對任務池中N個滿足第一預設條件的任務進行加鎖，將加入M個任務后的當前任務領取節點對應的計算處理列表中任務的任務信息進行更新；若當前的負載冗余時間小于0，選取當前任務領取節點對應的計算處理列表中的任務集合S，對任務池中與任務集合S中任務標識對應的任務加鎖，修改任務池中與任務集合S中的任務標識對應任務的任務信息。

技術領域

本發明涉及物聯網領域，尤其涉及一種面向物聯網流計算的負載均衡和容錯方法、任務領取節點和計算機可讀存儲介質。

背景技術

隨著物聯網的發展，人們對物聯網數據的實時計算產生了大量需求，因此基于物聯網流計算的應用也越來越多。不同于傳統互聯網應用的后臺大數據流計算(通常任務明確、單任務消耗大，多個節點處理單一任務)，物聯網流計算具有任務多、任務差異大，單個任務消耗小的特點，多個任務通常會在單個節點上進行計算。因此數據處理中心為了應對大量的物聯網流計算任務需要將大量的任務分配到多個計算節點中進行處理，設計相應的負載均衡和容錯方法。

傳統的負載均衡方法主要是基于調度來進行，有基于負載的調度，也有基于輪詢的調度，調度算法可以運行在任務提交的客戶端也可以運行在負載均衡節點。為了避免負載均衡節點產生的單節點故障對系統的影響，基于客戶端的調度越來越多被采用。

在物聯網流計算系統中，對于負載的定義發生了新的變化。傳統的負載定義，一般是看機器的CPU和內存性能。而在物聯網流計算系統中，負載的定義則加入了新的要素，即需要滿足在給定時間間隔內計算完流入數據。由于各種物聯網流計算任務的差異性，以及數據處理平臺并無法預知數據流入的吞吐特征，通常這個準則的度量在實際系統中是很難進行預先估計的。如果按照傳統的調度方法進行基于負載的調度，為了保證業務穩定，在預估負載特征時，很可能會給運算節點留出比較大的冗余不然會引起過載。而基于輪詢的調度方法，更是可能由于任務的差異巨大，而導致計算節點負載的巨大變化。

傳統的服務容錯方式，主要是建立服務注冊和發現中心，通過故障服務隔離，來避免單個節點故障導致的服務問題。而在流計算的容錯問題上，由于物聯網流計算的計算服務是有狀態的，無法簡單進行故障隔離達到容錯的目的，還需要對相應的服務進行恢復，這種有狀態的節點服務恢復通常采用故障監測+備份恢復的機制，即利用故障監測節點與各個服務節點建立心跳信息或者主動輪詢各個服務節點，在發現故障后從備份副本中創建新的服務。

雖然現有的調度技術能夠一定程度上對于物聯網流計算的負載均衡進行幫助，但是會造成資源預留的巨大冗余，同時調度復雜度會隨著計算服務的節點數而增長。例如，當采用中心節點時，需要心跳收集每個計算服務節點的當前負載狀態，并預估新任務的負載；而為了降低對中心節點的依賴性，當采用客戶端負載均衡時，則每個客戶端都需要收集每個計算服務節點的當前負載狀態，并預估新任務的負載。

發明內容

為解決上述技術問題，本發明實施例提供一種面向物聯網流計算的負載均衡和容錯方法、任務領取節點和計算機可讀存儲介質，既避免了流計算負載預估不準確而導致的冗余問題，又避免了計算復雜度隨計算服務數量增長的問題。

本發明的技術方案是這樣實現的：

本發明實施例提供一種負載均衡和容錯方法，包括：

對任務池中當前任務領取節點標識對應的任務信息進行加鎖，將所述任務信息中的更新時間修改為當前時間，對修改后的任務信息進行解鎖；

計算當前任務領取節點當前的負載冗余時間；