[發明專利]分布式流數據處理系統虛擬化資源彈性調度管理研究

在審

• 申請號: 202011308001.4
• 申請日: 2020-11-20
• 公開（公告）號: CN114518951A
• 公開（公告）日: 2022-05-20
• 發明（設計）人: 李弘;曾曉南;張金喜
• 申請（專利權）人: 廣州數銳智能科技有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/48
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公布了一種雙層資源調度模型、任務層動態資源調度與減載協同工作模型，以及自調節的分布式流處理結合模型。所述方法包括：通過任務層彈性資源調度模型，調優流處理任務的虛擬化資源占用率與分配；基于任務層調度結果，通過系統層物理資源調度模型彈性調整物理計算資源；將減載技術集成到資源彈性調度的策略；建立響應時間、結果精度和資源使用率之間的關系；實時統計分布式流處理任務的工作負載和運行狀態，自動調節資源分配計劃和減載策略，通過一個有效的協議來執行它們。本發明通過Storm on yarn實驗，結果表明自調節分布式流處理模型實現了對于計算資源的高效使用和輸出結果準確性的保障，同時也能夠保證系統的實時響應；而雙層資源調度模型也能夠在保障流處理任務穩定高效運行的前提下，最優化其計算資源的使用率。

技術領域

本發明涉及分布式數據流處理算法，尤其涉及到雙層資源調度模型、任務層動態資源調度與減載協同工作模型，以及自調節的分布式流處理結合模型。

背景技術

隨著大數據分布式計算技術的不斷發展，越來越多的場景下開始使用分布式系統來處理海量數據，許多數據都是實時產生，因此數據流的實時處理和分布式實時計算越來越受到重視。分布式流處理系統資源調度技術在研究與應用中也存在著一些難點，如怎樣快速響應實時變化的工作負載來彈性增減系統的計算資源，以及如何同時兼顧資源使用率、輸出結果準確性和系統實時性來保障系統實時響應的同時節約計算資源、輸出準確結果。

在對已有技術的研究和實踐中，本發明的發明人發現，現有的分布式流處理系統資源調度技術主要面臨以下問題：

（1）忽略了底層資源的高效利用以及集群的高效管理；系統層面上，幾乎無法進行物理資源調度和管理；在任務層面，這些系統對于集群中運行的任務所占用資源的管理也相對松散

（2）難以兼顧資源利用率、輸出結果準確性及系統實時性

發明內容

本發明要解決的技術問題在于，提供一種新的分布式流處理系統資源調度技術，能夠彈性增減分布式流處理系統計算資源，并且對在資源使用率、輸出結果準確性和系統實時性之間取得平衡。

為解決上述問題，本發明的一個實施例提供一種雙層資源調度模型，包括：

頂層為任務層動態資源調度框架，將資源請求提交給分布式流處理系統；

底層為系統層資源調度框架，動態調整分布式流處理系統所占有的虛擬化資源；

中間件為分布式流處理系統中的調度器，與系統層資源調度框架通信，響應任務層資源調度框架提交的資源調整請求。

進一步地，所述的任務層資源調度框架，具體包括：

負載實時監控流處理任務的運行狀態。

在任務運行時根據工作負載計算出任務需求的最優資源配置，將資源請求提交給分布式流處理系統。

系統先檢測現有資源使用情況。若資源過多，則提交申請到系統層資源調度框架，申請將冗余資源回收；若資源不足，則申請增加資源。

進一步地，所述的系統層資源調度框架，具體包括：

將物理資源虛擬化成虛擬化資源。

接收分布式流處理系統的請求，根據現有物理資源狀況，彈性的增減分布式流處理系統占用的資源。

進一步地，所述的中間件調度器，具體包括：

第一步： 中間件調度器接收到任務層資源調度請求。

第二步： 中間件調度器檢測當前分布式流處理系統資源狀態。若不能滿足流處理任務請求的資源或者資源出現冗余，跳至第三步，否則跳至第五步。

第三步： 中間件調度器基于目前分布式流處理系統中，任務對于資源的使用情況，計算出當前系統最優資源需求，并向系統層資源調度框架發起會話，申請調整系統占有資源，已達到最優狀態。