[發明專利]用于數據流式計算的內存管理系統及其方法

有效

• 申請號: 201710311937.4
• 申請日: 2017-05-05
• 公開（公告）號: CN107133103B
• 公開（公告）日: 2019-01-01
• 發明（設計）人: 戴文淵;楊強;陳雨強;焦英翔;石光川;涂威威
• 申請（專利權）人: 第四范式（北京）技術有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/52;G06F12/02
• 代理公司: 北京銘碩知識產權代理有限公司 11286
• 代理人: 張云珠;曾世驍

1.一種用于數據流式計算的內存管理系統，包括：

內存回收裝置，用于從數據流式計算的結尾回收原本應被釋放給操作系統的內存；

內存托管裝置，用于托管由內存回收裝置回收的內存；以及

內存分配裝置，用于響應于來自數據流式計算的開端的申請，向數據流式計算的開端分配由內存托管裝置托管的內存；

其中，內存回收裝置通過回收在數據流式計算的結尾得到的對象來回收內存；內存分配裝置分配內存托管裝置中的相應對象。

2.如權利要求1所述的內存管理系統，其中，內存分配裝置在內存托管裝置托管的內存之中不存在適于分配的可用內存時，向數據流式計算的開端分配從操作系統申請到的內存或向數據流式計算的開端發送用于指示其直接向操作系統申請內存的指示信號。

3.如權利要求1所述的內存管理系統，其中，內存托管裝置包括一個或多個內存池，其中，每個內存池包含一個或多個由針對相同類型的對象的容器組成的容器隊列。

4.如權利要求3所述的內存管理系統，其中，每個容器具有一個互斥鎖。

5.如權利要求3所述的內存管理系統，其中，每個內存池包括兩個容器隊列，其中，所述兩個容器隊列之中的一個容器隊列用于回收對象，并且，所述兩個容器隊列之中的另一容器隊列用于分配對象。

6.如權利要求5所述的內存管理系統，其中，每個容器隊列具有一個互斥鎖。

7.如權利要求5所述的內存管理系統，其中，當所述另一容器隊列分配對象失敗時，內存托管裝置將所述一個容器隊列與所述另一容器隊列互相交換。

8.如權利要求1所述的內存管理系統，其中，數據流式計算用于機器學習模型訓練，對象對應于機器學習模型的樣本。

9.一種用于數據流式計算的內存管理方法，包括：

(A)從數據流式計算的結尾回收原本應被釋放給操作系統的內存；

(B)托管所回收的內存；以及

(C)響應于來自數據流式計算的開端的申請，向數據流式計算的開端分配所托管的內存；

其中，在步驟(A)中，通過回收在數據流式計算的結尾得到的對象來回收內存；在步驟(C)中分配所托管的相應對象。

10.如權利要求9所述的內存管理方法，還包括：

(D)在托管的內存之中不存在適于分配的可用內存時，向數據流式計算的開端分配從操作系統申請到的內存或向數據流式計算的開端發送用于指示其直接向操作系統申請內存的指示信號。

11.如權利要求9所述的內存管理方法，其中，在步驟(B)中，通過一個或多個內存池來托管所回收的內存，其中，每個內存池包含一個或多個由針對相同類型的對象的容器組成的容器隊列。

12.如權利要求11所述的內存管理方法，其中，每個容器具有一個互斥鎖。

13.如權利要求11所述的內存管理方法，其中，每個內存池包括兩個容器隊列，其中，所述兩個容器隊列之中的一個容器隊列用于回收對象，并且，所述兩個容器隊列之中的另一容器隊列用于分配對象。

14.如權利要求13所述的內存管理方法，其中，每個容器隊列具有一個互斥鎖。

15.如權利要求13所述的內存管理方法，其中，在步驟(C)中，當所述另一容器隊列分配對象失敗時，將所述一個容器隊列與所述另一容器隊列互相交換。

16.如權利要求9所述的內存管理方法，其中，數據流式計算用于機器學習模型訓練，對象對應于機器學習模型的樣本。

17.一種用于數據流式計算的內存管理的計算裝置，其中，所述計算裝置包括存儲部件和處理器，存儲部件中存儲有計算機可執行指令集合，當所述計算機可執行指令集合被所述處理器執行時，執行如權利要求9到16之中的任一權利要求所述的方法。