[發明專利]一種垃圾數據清理方法、裝置、電子設備及可讀存儲介質

有效

• 申請號: 201811213300.2
• 申請日: 2018-10-18
• 公開（公告）號: CN111078389B
• 公開（公告）日: 2023-09-05
• 發明（設計）人: 徐福生;鄧長春
• 申請（專利權）人: 杭州海康威視數字技術股份有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F11/30;G06F9/455
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 李欣;馬敬

本發明實施例提供了一種垃圾數據清理方法。該方法應用于分布計算框架中的Driver端，包括：根據監測得到的數量計算消息隊列的壓力值；判斷壓力值是否大于預設壓力閾值；當判斷出壓力值大于預設壓力閾值時，向分布式計算框架中的Worker端發送高壓狀態通知，以使得Worker端在監測到第一性能指標的指標值達到第一預設閾值時，觸發Worker端的虛擬機中的GC程序，在監測到第二性能指標的指標值滿足第一清理條件時，向Driver端發送觸發指令；當接收到Worker端發送的觸發指令時，觸發Driver端中的垃圾清理器對Worker端中的垃圾數據進行清理。與現有技術相比，應用本發明實施例提供的方案，當Driver端的任務接收速率超過Worker端的任務處理速率時，可以及時對垃圾數據進行清理，避免Worker端內存泄露。

技術領域

本發明涉及大數據技術領域，特別是涉及一種垃圾數據清理方法、裝置、電子設備及可讀存儲介質。

背景技術

當前，Spark分布式計算框架因為其具有的效率更高、運行速度更快等特點，在實際應用中對海量信息進行數據處理時發揮著重要作用。

Spark分布式計算框架中可以包括Master端、Worker端和Driver端。其中，Master端用于對Worker端當前任務處理情況和內存使用情況進行監測。Driver端用于接收待處理任務，并得到由所接收的待處理任務構成的消息隊列；根據Master端的監測結果向Worker端分配待處理任務。而Worker端對待處理任務進行處理，并根據待處理任務的類型對任務處理過程中產生的垃圾數據進行注冊，注冊信息表征了這些垃圾數據由哪些對象進行清理。其中，能夠進行垃圾清理的對象包括：運行在Worker端的虛擬機中的GC(GarbageCollection，垃圾回收)程序、運行在Driver端的虛擬機中的GC程序以及Driver端中的垃圾清理器(ContextCleaner)。

當前，Spark分布式計算框架中的垃圾數據處理流程為：當Worker端監測到自身虛擬機的內存的占用率，達到預設閾值時，Worker端便會觸發該虛擬機的GC程序以進行垃圾數據清理，進而，該GC程序會觸發垃圾清理器進行垃圾數據清理。

發明人在實現本發明的過程中發現：當Driver端的任務接收速率超過Worker端的任務處理速率時，Driver端會向Worker端分配大量的待處理任務，此時，在Worker端處理任務而產生垃圾數據的同時，由Driver端與Worker端的交互所產生的垃圾數據也在持續增加，顯然，Worker端中會積累大量的待處理任務和垃圾數據。

在這種情況下，當上述GC程序觸發垃圾清理器進行垃圾清理時，垃圾清理器可能無法及時清理出足夠的內存空間以存儲新的待處理任務和垃圾數據，從而導致Worker端發生內存泄露，影響Spark分布式計算框架的穩定性和任務處理效率。

發明內容

本發明實施例的目的在于提供一種垃圾數據清理方法、裝置、電子設備及可讀存儲介質，以實現當Driver端的任務接收速率超過Worker端的任務處理速率時，可以及時對垃圾數據進行清理，避免Worker端內存泄露，提高Spark的穩定性和任務處理效率。

具體技術方案如下：

第一方面，本發明實施例提供了一種垃圾數據清理方法，應用于分布式計算框架中的Driver端；所述方法包括：

監測消息隊列所包括待處理任務的數量，并根據監測得到的數量計算所述消息隊列的壓力值；

判斷所述壓力值是否大于預設壓力閾值；