[發明專利]一種資源可用度預警方法及裝置

有效

• 申請號: 201610265261.5
• 申請日: 2016-04-26
• 公開（公告）號: CN107315636B
• 公開（公告）日: 2020-06-05
• 發明（設計）人: 李湛
• 申請（專利權）人: 中國移動通信集團河北有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 高潔;張穎玲

本發明提供了一種資源可用度預警方法，所述方法包括：建立資源使用量預估模型；通過所述資源使用量預估模型，預估下一時間周期的資源使用量；當所述預估的下一周期的資源使用量超出預設閾值時，發出資源可用度預警。本發明還提供了一種資源可用度預警裝置。

技術領域

本發明涉及業務支撐技術領域，尤其涉及一種Hadoop資源可用度預警的方法及裝置。

背景技術

Hadoop是當前大數據平臺的主流軟件之一，它提供了一種分布式海量數據存儲(HDFS，Hadoop Distributed File System)、分布式大規模計算(MapReduce) 和通用資源管理系統(YARN，Yet Another Resource Negotiator)的基本框架，具有高容錯性、易用性和可擴展性等優點，被廣泛用于數據挖掘、聯機分析處理(OLAP，Online AnalyticalProcessing)、經營分析等，能夠發掘潛在客戶群體、幫助進行市場細分和客戶關系管理、預測未來市場趨勢等，為企業領導者提供決策支持，實現數據增值變現的目的。目前Hadoop已經被大量應用于互聯網、通信、金融等眾多領域。

現有的基于YARN的Hadoop架構如圖1所示，主要包括全局資源管理器 (RM，ResourceManager)、應用主管理程序(AM,ApplicationMaster)、節點管理器(NM，NodeManager)和容器Container等一系列模塊。

基于YARN框架的Hadoop整體執行流程如下：

步驟1：用戶通過客戶端JobClient提交MapReduce等應用程序，向RM 申請資源；

步驟2：RM中的全局應用管理器(ASM，ApplicationsManager)和資源調度器(RS，ResourceScheduler)接受請求后給該應用程序分配第一個容器 Container，并查到對應的NM與之通信，發出在Container中啟動AM的命令；

步驟3：AM在RM注冊自己，然后通過遠程過程調用RPC協議采用輪詢方式為各個任務申請資源，主要包括CPU、內存等；

步驟4：當AM領取到資源后會與NM通信，由NM啟動待執行的任務；

步驟5：各個任務通過RPC協議向AM報告自己當前的狀態，AM監控所有任務的運行狀態，發現任務運行失敗后會重新申請資源然后再重啟任務；

步驟6：當應用程序執行完成后，AM向RM注銷并關閉自己，回收釋放相關資源。

Hadoop現有的YARN架構雖然為資源管理和任務調度監控提供了很好的支持，但是目前只能監控任務狀態，不能在資源不足時提前給用戶發出預警因而無法提前進行資源調整，有可能會導致任務進度已經接近完成卻發生資源嚴重不足，那么任務可能只能重新啟動并再分配資源，這樣就會造成時間和資源的浪費。

發明內容

有鑒于此，本發明實施例期望提供一種資源可用度預警方法及裝置，能夠并且能夠有效的減少資源浪費提高資源的利用率。

為達到上述目的，本發明的技術方案是這樣實現的：

本發明實施例提供了一種資源可用度預警方法，所述方法包括：

建立資源使用量預估模型；

通過所述資源使用量預估模型，預估下一時間周期的資源使用量；

當所述預估的下一周期的資源使用量超出預設閾值時，發出資源可用度預警。

上述方案中，所述建立資源使用量預估模型包括：

根據每個時間周期內所有并行任務的進度和消耗資源的增量以及時間周期規律和關聯關系確定下一時間周期任務進度增量對應的消耗資源增量；