[發明專利]內存管理方法、裝置、設備及存儲介質

有效

• 申請號: 202110845682.6
• 申請日: 2021-07-26
• 公開（公告）號: CN113296962B
• 公開（公告）日: 2022-01-11
• 發明（設計）人: 謝成亮
• 申請（專利權）人: 阿里云計算有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 北京太合九思知識產權代理有限公司 11610
• 代理人: 劉戈;孫明子

本申請實施例提供了一種內存管理方法、裝置、設備及存儲介質，內存管理方法包括：利用中央內存管理器獲取數據處理請求，建立數據處理請求所對應的至少一個待寫出線程，確定至少一個待寫出線程各自對應的本地內存管理器；在本地內存管理器執行待寫出線程時，確定待寫出線程所對應的內存開銷信息，并將待寫出線程所對應的內存開銷信息發送至中央內存管理器；利用中央內存管理器基于所有待寫出線程所對應的內存開銷信息進行內存管理操作。本申請所提供的技術方案，能夠在高并發多路寫出中，解決對內存開銷完全無保護的問題，這樣不僅有利于穩定系統的內存開銷、保證文件寫出格式正確，并且有利于提高數據處理操作的質量和效率。

技術領域

本申請涉及內存處理技術領域，尤其涉及一種內存管理方法、裝置、設備及存儲介質。

背景技術

在大數據系統應用的過程中，高并發多路寫出parquet格式文件是非常常見的應用場景，在該場景下，同一時刻多個parquet文件都在寫出，這樣parquet文件都會在內存中積攢數據，在內存中積攢的數據接近一預設限值時會進行一次數據刷盤操作，這樣極大增加了內存消耗峰值，容易導致內存溢出。

發明內容

本申請實施例提供了一種內存管理方法、裝置、設備及存儲介質，能夠解決對內存開銷完全無保護的問題，穩定控制整個數據系統的內存開銷，保證了內存管理方法使用的安全穩定性。

第一方面，本申請實施例提供了一種內存管理方法，包括：

利用中央內存管理器獲取數據處理請求，建立所述數據處理請求所對應的至少一個待寫出線程，確定所述至少一個待寫出線程各自對應的本地內存管理器；

在本地內存管理器執行所述待寫出線程時，確定所述待寫出線程所對應的內存開銷信息，并將所述待寫出線程所對應的內存開銷信息發送至中央內存管理器；

利用中央內存管理器基于所有待寫出線程所對應的內存開銷信息進行內存管理操作。

第二方面，本申請實施例提供了一種內存管理方法，包括：

獲取數據處理請求；

建立所述數據處理請求相對應的至少一個待寫出線程；

在執行所述至少一個待寫出線程時，確定所述至少一個待寫出線程各自對應的內存開銷信息；

基于所有待寫出線程所對應的內存開銷信息進行內存管理操作。

第三方面，本申請實施例提供了一種內存管理裝置，包括：

第一獲取模塊，用于獲取數據處理請求；

第一建立模塊，用于建立所述數據處理請求相對應的至少一個待寫出線程；

第一確定模塊，用于在執行所述至少一個待寫出線程時，確定所述至少一個待寫出線程各自對應的內存開銷信息；

第一處理模塊，用于基于所有待寫出線程所對應的內存開銷信息進行內存管理操作。

第四方面，本申請實施例提供了一種電子設備，包括：存儲器、處理器；其中，所述存儲器用于存儲一條或多條計算機指令，其中，所述一條或多條計算機指令被所述處理器執行時實現上述第二方面所示的內存管理方法。

第五方面，本發明實施例提供了一種計算機存儲介質，用于儲存計算機程序，所述計算機程序使計算機執行時實現上述第二方面所示的內存管理方法。

第六方面，本發明實施例提供了一種計算機程序產品，包括：存儲有計算機指令的計算機可讀存儲介質，當所述計算機指令被一個或多個處理器執行時，致使所述一個或多個處理器執行上述第二方面所示的內存管理方法。

第七方面，本發明實施例提供了一種內存管理方法，包括：