[發明專利]容器云環境中流數據處理系統的彈性資源調度方法及系統

有效

• 申請號: 201710288587.4
• 申請日: 2017-04-27
• 公開（公告）號: CN107193652B
• 公開（公告）日: 2019-11-12
• 發明（設計）人: 金海;吳松;王行軍
• 申請（專利權）人: 華中科技大學
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 李智;曹葆青

本發明公開了一種容器云環境中流數據處理系統的彈性資源調度方法及系統，其中，方法的實現包括：執行信息采集與分析步驟，采集上一個批次作業完成時間，集群中每個節點處理時間，集群中每個節點處理的負載量，根據作業完成時間和節點處理時間關系，分析當前集群的資源需求狀況并做出資源決策；集群擴展步驟，增加或者減少集群中容器節點；集群內資源調度步驟，動態調節集群內各節點間的資源分配。本發明旨在通過獲取歷史作業執行信息，分析集群資源狀況并實現彈性資源配置，保證流處理系統面臨負載變化和負載不均衡時的性能并降低資源開銷。

技術領域

本發明屬于云計算資源調度技術領域，更具體地，涉及一種容器云環境中流數據處理系統的彈性資源調度方法及系統。

背景技術

大數據時代下，社交網絡、在線購物、物聯網等會產生大量的實時數據流，如何快速分析這些實時數據成為大數據處理技術的一大挑戰。分布式流數據處理系統是一類將實時流數據處理過程轉換成多個小作業，在多個處理機器上并行執行的系統。基于小批次作業的分布式流數據處理系統將實時流數據按照時間間隔切分成一系列的小批次數據，然后對這些小批次數據進行處理，利用這種方式，該類型系統可以提供低延遲、高吞吐量的實時數據處理服務。隨著云計算技術的發展和普及，將這類復雜的應用部署到云環境中成為趨勢。

然而，生產環境中實時數據流的產生速度往往是波動的，如果在部署系統到云環境中的時候固定分配系統資源則無法保證系統性能。一方面，數據流速度過大會導致系統負載過大，固定的資源配置可能使系統無法承受高負載，進而導致處理不及時。另一方面，流數據輸入速度過小會導致系統負載較小，而系統固定的資源配置會導致資源浪費，造成云計算用戶的開銷增大。除此之外，由于流數據被切分成多個批次數據塊，針對每個批次數據的處理作業被劃分成多個小作業到各個執行節點上運行，由于每一個批次數據的分布并不是均衡的，當被劃分成多個小作業處理時，對應的數據塊大小也呈現不均衡現象，進而不同的節點處理的負載量不均衡。由于批次執行時間取決于最慢的執行節點，因此這種不均衡勢必最終使整個批次的處理時間增加，延遲時間增加，系統性能無法保證。

針對數據流速度波動問題，目前的處理辦法有兩種：資源最大化和彈性資源調度。資源最大化，即通過實際試運行和統計分析等手段，事先估計系統將會面臨的最大峰值負載，根據峰值負載，最大化配置系統資源，保證系統的峰值性能。這種方式能很好保證系統性能，但如果數據流速度較低，則存在資源嚴重浪費的情況，為云計算用戶帶來額外開銷。彈性資源調度，即通過對系統運行時狀態進行觀測和分析，根據負載變化彈性地調度系統資源，實現資源量和負載大小的匹配。針對負載不均衡的問題，目前的處理方法有兩種：負載重新劃分和彈性配置節點資源。負載重新劃分，即根據一定的劃分策略，將負載數據重新劃分到各個節點上，盡力使其均衡分布在各個節點上。這種方法一定程度上可以改善負載不均衡的問題，但是在流數據處理中每個批次作業執行時間要求在秒級別，數據重新劃分會增加大量時間開銷導致執行時間增加，系統性能受到影響。動態配置節點資源，即根據各個節點處理的負載大小，彈性地配置其資源使得其處理能力能夠適應其負載。這種方式在云計算環境中是十分簡單高效的。本發明試圖探索一種在容器云環境中針對流數據處理系統的彈性資源調度方法，依據系統處理的負載量變化，彈性地調度系統的資源，使得其能夠適應數據流速度波動和節點負載分布不均衡的情況，保證其在云計算環境中的性能并降低資源開銷。

發明內容

針對現有技術的以上缺陷或改進需求，本發明提供了一種容器云環境中流數據處理系統的彈性資源調度方法及系統，根據系統處理的負載來指導系統的資源調度，通過彈性擴展集群節點個數使系統能夠適應流數據速度的波動，通過彈性配置各個節點的CPU資源應對節點負載不均衡的情況，保證系統的性能。由此解決現有技術中針對流數據處理系統在容器云環境中存在的性能問題。

為實現上述目的，按照本發明的一個方面，提供了一種容器云環境中流數據處理系統的彈性資源調度方法，包括：