[發明專利]管理混合部署的共享資源管理方法、系統及服務器系統

有效

• 申請號: 202010412531.7
• 申請日: 2020-05-15
• 公開（公告）號: CN111597045B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 陳全;龐浦;過敏意
• 申請（專利權）人: 上海交通大學
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 上海光華專利事務所(普通合伙) 31219
• 代理人: 龐紅芳

本發明提供一種管理混合部署的共享資源管理方法、系統及服務器系統，所述管理混合部署的共享資源管理方法包括：接收用戶云服務請求，并將所述用戶云服務請求分配至對應的節點服務器，其中，不同的云服務與后臺批處理任務部署于不同的節點服務器；接收所述用戶云服務請求的節點服務器在檢測到負載變化后，搜索當前負載下的一組最佳資源配置并應用；監測云服務質量，并在云服務質量違例時，從后臺批處理任務處回收資源補償云服務，直至云服務質量得到滿足。本發明在無需升級硬件設備與不增加數據中心額外負擔的提前下，在同時保證云服務的服務質量、滿足服務器能耗限制的基礎上，最大化后臺批處理任務的吞吐量。

技術領域

本發明涉及大數據處理技術領域，特別是涉及大數據資源管理技術領域。

背景技術

如今，數據中心的巨大能耗成為了學術界和工業界共同關注的熱點問題。由國際環保組?織“綠色和平”與華北電力大學聯合發布的報告指出，2018年中國數據中心總用電量為?1,608.89億千瓦時，占中國全社會用電量的2.35％，超過上海市2018年全社會用電量(1,567?億千瓦時)。照此趨勢預計，2023年中國數據中心總用電量將達到2,667.92億千瓦時，未來?5年(2019年-2023年)將增長66％，年均增長率將達到10.64％。2019年，國家工信部、國?家機關事務管理局和國家能源局三部委聯合發布的《關于加強綠色數據中心建設的指導意見》?強調，要大力推動綠色數據中心創建、運維和改造，引導數據中心走高效、清潔、集約、循?環的綠色發展道路，實現數據中心持續健康發展。

為應對數據中心能耗挑戰，當前數據中心采用了功耗封頂(Power?Capping)技術，即限?制數據中心服務器的峰值能耗，通過對每一臺服務器能耗的準確控制，避免能源過度供應，?以控制運行成本。此外，由于數據中心上運行的云服務(網絡搜索、網絡購物等)負載動態?變化且受用戶活動影響，一般呈現晝夜規律，這導致除了高峰時段外，其余時間服務器上的?資源沒有得到充分利用，而數據中心運行商通常將云服務與后臺批處理任務混合部署在同一?物理服務器上，并借助共享資源隔離技術在混合部署的應用間進行資源劃分，此舉既保證了?云服務的服務質量(Quality-of-Service，Qos)，又提高了數據中心的資源利用率。

然而，傳統的混合部署資源管理系統大多缺乏對服務器能耗限制的考慮，在對混合部署?應用進行資源分配時將造成能耗超限，此類系統如運行在能耗受限的數據中心上將導致分配?失敗。一些資源管理系統則在檢測到能耗即將超限時，降低后臺批處理任務的CPU核心頻率，?此舉雖然能滿足能耗限制，但欠缺了對應用程序資源偏好的考慮，無法最大化后臺批處理任?務的性能(吞吐量)。具體而言，在某一系統負載下，存在多組能同時滿足云服務服務質量?要求與服務器能耗限制的資源分配方案，這些資源分配方案產生了不同的后臺批處理任務吞?吐量，而其中的某一組資源配置可產生最高的吞吐量(最佳配置)。然而，最佳配置并非總?能通過降低頻率獲得，而是由當前系統負載、服務器功耗限制、混合部署應用程序的資源偏?好共同決定。

現有技術中，Powerchief系統能夠識別服務器的能耗限制情況，并根據云服務的不同執?行階段應用相應的加速技術，以保證云服務在資源受限服務器上運行時的服務質量。但?Powerchief系統沒有考慮當前主流的將云服務與后臺批處理任務混合部署的情況，無法最大?化數據中心資源利用率。此外，現有技術中，Heracles系統運行于云服務與后臺批處理任務?混合部署的場景下，基于云服務的歷史延遲記錄信息分配共享資源，在檢測到能耗即將超限?時降低后臺批處理任務的CPU核心頻率以控制能耗。但Heracles系統沒有考慮應用程序的資?源偏好與多組可用資源配置，無法最大化后臺批處理任務吞吐量。

發明內容

鑒于以上所述現有技術的缺點，本發明的目的在于提供一種管理混合部署的共享資源管?理方法、系統及服務器系統，用于解決現有技術無法有效配置和平衡混合部署的云服務與后?臺應用程序的技術問題。