[發明專利]內存管理方法及裝置

在審

• 申請號: 202110873220.5
• 申請日: 2021-07-30
• 公開（公告）號: CN113703964A
• 公開（公告）日: 2021-11-26
• 發明（設計）人: 董濤
• 申請（專利權）人: 青島海爾科技有限公司;海爾智家股份有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F11/30
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 郭亮

本發明提供一種內存管理方法及裝置，該方法包括：獲取每個作業的作業信息，作業信息包括當前使用內存和當前配置的最大內存；根據當前使用內存和最大內存，確定每個作業的當前內存使用占比；根據每個作業的所述當前內存使用占比是否超過第一閾值和/或每個作業的所述當前內存使用占比超過第一閾值的時長，確定待進行內存配置調整的目標作業。該方法通過內存使用占比，可以監控所有作業的內存配置是否存在問題，對于問題性作業，可以及時告知用戶修改內存配置或者優化作業邏輯。可結合郵件等可視化的方式，及時告知用戶存在問題作業，從而有利于減少大數據集群的內存浪費情況。

技術領域

本發明涉及大數據領域，尤其涉及一種內存管理方法及裝置。

背景技術

目前的大數據計算框架主要包括MapReduce、Spark和Flink等。其他類型的計算框架多是基于這三種的派生產品。對于MapReduce類型的作業，可以通過mapreduce.map.memory.mb，mapreduce.reduce.memory.mb這兩個配置參數來控制map/reduce的內存使用大小。對于Spark類型的作業，可以通過--driver-memory，--executor-memory設置driver/executor的內存使用大小。對于Flink類型的作業，可以通過–yjm，-tjm.設置jobmanager/taskmanager的內存使用大小。

這三種作業提供了配置，讓用戶靈活的設置作業需求的內存大小，但是對于經驗不足的人員來說，容易設置不合理。如果內存資源設置不足，則作業會報錯失敗，需要增加內存讓作業運行起來。然而，如果內存配置過高，作業雖然不會有任何報錯，但是會導致其他作業沒法使用這部分內存。由于這部分內存存在被占用，得不到使用的情況，從而利用率大大降低，造成了資源的浪費。

發明內容

針對現有技術存在的問題，本發明提供一種內存管理方法及裝置。

本發明提供一種內存管理方法，包括：獲取每個作業的作業信息，所述作業信息包括當前使用內存和當前配置的最大內存；根據所述當前使用內存和所述最大內存，確定每個作業的當前內存使用占比；根據每個作業的所述當前內存使用占比是否超過第一閾值和/或每個作業的所述當前內存使用占比超過第一閾值的時長，確定待進行內存配置調整的目標作業。

根據本發明一個實施例的內存管理方法，根據每個作業的所述當前內存使用占比是否超過第一閾值和/或每個作業的所述當前內存使用占比超過第一閾值的時長，確定待進行內存配置調整的目標作業，包括：當存在第一作業，且所述第一作業的所述當前內存使用占比超過所述第一閾值，且所述第一作業的當前內存使用占比超過所述第一閾值的時長與所述第一作業當次執行總時長之比低于第二閾值時，確定所述第一作業為待進行內存配置調整的所述目標作業。

根據本發明一個實施例的內存管理方法，還包括：在第一作業的所述內存使用占比未超過第一閾值時，發出第一告警；在所述第一作業的所述當前內存使用占比超過所述第一閾值的時長與所述第一作業當次執行總時長之比低于第二閾值時，發出第二告警。

根據本發明一個實施例的內存管理方法，所述第一告警，用于告知用戶降低所述目標作業的最大內存，所述第二告警，用于告知用戶對所述目標作業進行優化配置。

根據本發明一個實施例的內存管理方法，所述獲取每個作業的作業信息，包括：獲取每個作業多次執行的作業信息，所述作業信息包括多次作業執行產生的作業執行標識；其中，所述內存管理方法，還包括：根據每個作業的多個作業執行標識，基于每個作業連續執行預設次數時的作業使用內存確定每個作業的所述當前使用內存。