[發明專利]緩存數據遷移方法及裝置

有效

• 申請號: 201710744403.0
• 申請日: 2017-08-25
• 公開（公告）號: CN107480071B
• 公開（公告）日: 2020-11-03
• 發明（設計）人: 毛睿;陸敏華;陸克中;朱金彬;隋秀峰
• 申請（專利權）人: 深圳大學
• 主分類號: G06F12/0811
• 分類號: G06F12/0811
• 代理公司: 深圳市恒申知識產權事務所(普通合伙) 44312
• 代理人: 王利彬

本發明實施例提供一種緩存數據遷移方法及裝置，涉及計算機領域，該方法包括：當計算區的空閑空間不足以運行由Spark執行引擎調度的子任務時，計算搶占空間的大小，搶占空間的大小為子任務的運行空間的大小減去計算區的空閑空間的大小，統計存儲區的空閑空間和有效空間的大小，并判斷搶占空間的大小是否大于存儲區的空閑空間的大小和存儲區的有效空間的大小，當搶占空間的大小大于存儲區的空閑空間的大小且不大于存儲區的有效空間的大小時，將存儲區的緩存數據遷移至二級緩存，遷移至二級緩存的緩存數據的大小為搶占空間的大小減去存儲區的空閑空間的大小。該方法及裝置避免了部分計算任務的重復操作，保護了Spark執行引擎的性能。

技術領域

本發明涉及計算機領域，尤其涉及一種緩存數據遷移方法及裝置。

背景技術

目前，Spark是一種分布式計算系統，作為一種通用、快速的大規模數據處理引擎，其被廣泛應用于大數據處理領域。Spark通過緩存中間計算結果，讀取緩存的迭代數據，能夠有效地避免大量的重復計算，提升大數據計算效率。

隨著數據集規模的不斷擴大，大數據應用對內存產生了強烈的依賴，更為嚴重的是，由于計算任務的持續復雜化，致使計算區內存的溢出故障頻繁發生。針對此問題，Spark執行引擎提供并設計了一種統一內存管理模型。如圖1所示，在現有的統一內存管理模型中，“計算區”空間用于存儲任務執行過程中生成的對象等數據，“存儲區”則作為Spark任務的中間數據緩存空間和序列化數據的臨時空間。當計算任務無法申請到足夠的計算區空間時，Spark執行引擎就會強行遷移或踢除存儲區內的緩存數據，以搶占存儲區的空間，以緩解Spark執行引擎執行任務過程中計算區空間不足的壓力。

然而，在這種統一內存管理模型中，當緩存的中間數據被剔除時，若需再次使用該數據則必須重新執行相應的計算任務，從而引發部分計算任務重復操作，損害Spark執行引擎的性能的問題。

發明內容

本發明的主要目的在于提供一種緩存數據遷移方法及裝置，旨在解決現有技術在進行統一內存管理的過程中，當緩存的中間數據被剔除時，若需要再次使用該數據則必須重新執行相應的計算任務，從而引發部分計算任務重復操作，損害Spark執行引擎的性能的技術問題。

本發明實施例第一方面提供的緩存數據遷移方法，所述方法包括：

當計算區的空閑空間不足以運行由Spark執行引擎調度的子任務時，計算搶占空間的大小，其中，所述搶占空間的大小為所述子任務的運行空間的大小減去所述計算區的空閑空間的大小；

統計存儲區的空閑空間和有效空間的大小，并判斷所述搶占空間的大小是否大于所述存儲區的空閑空間的大小和所述存儲區的有效空間的大小；

當所述搶占命令指示的搶占空間的大小大于所述存儲區的空閑空間的大小且不大于所述存儲區的有效空間的大小時，將所述存儲區的緩存數據遷移至二級緩存，其中，遷移至二級緩存的緩存數據的大小為所述搶占空間的大小減去所述存儲區的空閑空間的大小。

本發明實施例第二方面提供的緩存數據遷移裝置，所述裝置包括：

計算單元，用于當計算區的空閑空間不足以運行由Spark執行引擎調度的子任務時，計算搶占空間的大小，其中，所述搶占空間的大小為所述子任務的運行空間的大小減去所述計算區的空閑空間的大小；

搶占邏輯單元，用于統計存儲區的空閑空間和有效空間的大小，并判斷所述搶占空間的大小是否大于所述存儲區的空閑空間的大小和所述存儲區的有效空間的大小；

緩存數據遷移單元，用于當所述搶占命令指示的搶占空間的大小大于所述存儲區的空閑空間的大小且不大于所述存儲區的有效空間的大小時，將所述存儲區的緩存數據遷移至二級緩存，其中，遷移至二級緩存的緩存數據的大小為所述搶占空間的大小減去所述存儲區的空閑空間的大小。