[發明專利]用于降低內存負載的方法以及裝置

有效

• 申請號: 201711122574.6
• 申請日: 2017-11-14
• 公開（公告）號: CN107992354B
• 公開（公告）日: 2020-07-31
• 發明（設計）人: 袁博;范啟弘;傅凌進;毛成軍;沈琦
• 申請（專利權）人: 阿里巴巴（中國）有限公司
• 主分類號: G06F9/455
• 分類號: G06F9/455;G06F9/50
• 代理公司: 北京東方億思知識產權代理有限責任公司 11258
• 代理人: 吳崇

1.一種用于降低內存負載的方法，包括：

將計算內存模型的計算任務分配至離線計算集群；

通過所述離線計算集群生成內存模型快照；

線上內存集群加載所述內存模型快照；

根據所述內存模型快照更新所述線上內存集群的內存模型。

2.如權利要求1所述的方法，其中，所述將計算內存模型的計算任務分配至離線計算集群包括：

通過調度中心進行分布式調度，將所述計算任務分配至所述離線計算集群的計算節點；

每個計算節點定時輪詢所述調度中心，搶占即將執行的計算任務；

在所述調度中心添加對所述計算任務的鎖；

執行完所述計算任務后釋放所述鎖。

3.如權利要求1所述的方法，其中，所述通過所述離線計算集群生成內存模型快照包括：采用對象的序列化機制將內存中對象形式的內存模型轉換成文件形式的所述內存模型快照。

4.如權利要求1所述的方法，其中，所述通過所述離線計算集群生成內存模型快照包括：

將所述離線計算集群生成的所述內存模型快照寫入第二快照文件；

所述內存模型快照寫入成功后，刪除上一次生成的第一快照文件，將所述第二快照文件重命名成第一快照文件。

5.如權利要求1所述的方法，其中，所述根據所述內存模型快照更新所述線上內存集群的內存模型包括：

解析所述內存模型快照生成相應的內存模型；

校驗解析后的所述內存模型，判斷數據校驗是否成功；

當數據校驗失敗時，重新計算所述內存模型；

當數據校驗成功時，進行心跳記錄，記錄所述內存模型的更新結果。

6.如權利要求5所述的方法，其中，所述解析所述內存模型快照生成相應的內存模型包括：采用對象的序列化機制將文件形式的所述內存模型快照轉換成對象形式的所述內存模型。

7.如權利要求5所述的方法，其中，所述解析所述內存模型快照生成相應的內存模型包括：

將所述線上內存集群解析的所述內存模型快照寫入備份內存模型；

所述內存模型快照解析成功后，用所述備份內存模型替換上一次更新的內存模型。

8.如權利要求5所述的方法，其中，所述當數據校驗失敗時，重新計算所述內存模型包括：

若當前時間和快照生成時間之間的差值大于預設的更新間隔時，判定所述內存模型快照過期，重新計算所述內存模型；和/或

若所述離線計算集群計算得到的內存模型Hash值和所述線上內存集群更新所述內存模型后計算得到的內存模型Hash值不一致時，重新計算所述內存模型；和/或

對所述線上內存集群更新的內存模型進行抽樣校驗，重新計算抽樣的內存模型；

當重新計算得到的抽樣的內存模型和通過解析所述內存模型快照得到的內存模型不一致的比例超過預設閾值時，重新計算所述內存模型。

9.如權利要求5所述的方法，其中，還包括：

所述線上內存集群定時檢查內存模型的更新情況；

當所述內存模型未在預設時間更新時，重新計算所述內存模型。

10.如權利要求1所述的方法，其中，還包括：

所述離線計算集群將生成的所述內存模型快照上傳至存儲中心；

所述離線計算集群通知所述線上內存集群更新內存模型。

11.如權利要求10所述的方法，其中，所述離線計算集群基于Rsync的文件同步策略將所述內存模型快照上傳至所述存儲中心；和/或

所述線上內存集群基于Rsync的文件同步策略加載所述內存模型快照。

12.如權利要求1所述的方法，其中，所述線上內存集群為內存密集集群。