[發明專利]一種垃圾數據清理方法、裝置、電子設備及可讀存儲介質

有效

• 申請號: 201811213300.2
• 申請日: 2018-10-18
• 公開（公告）號: CN111078389B
• 公開（公告）日: 2023-09-05
• 發明（設計）人: 徐福生;鄧長春
• 申請（專利權）人: 杭州海康威視數字技術股份有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F11/30;G06F9/455
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 李欣;馬敬

1.一種垃圾數據清理方法，其特征在于，應用于分布式計算框架中的Driver端；所述方法包括：

監測消息隊列所包括待處理任務的數量，并根據監測得到的數量計算所述消息隊列的壓力值；

判斷所述壓力值是否大于預設壓力閾值；

當判斷出所述壓力值大于所述預設壓力閾值時，向所述分布式計算框架中的Worker端發送高壓狀態通知，以使得所述Worker端對第一性能指標和第二性能指標進行監測，在監測到所述第一性能指標的指標值達到第一預設閾值時，觸發所述Worker端的虛擬機中的垃圾回收GC程序，在監測到所述第二性能指標的指標值滿足第一清理條件時，向所述Driver端發送觸發指令；其中，所述第一性能指標為：所述Worker端虛擬機的內存的占用率，所述第二性能指標為：能夠表征所述Worker端的運行狀態的指標；

當接收到所述Worker端發送的觸發指令時，觸發所述Driver端中的垃圾清理器對所述Worker端中的垃圾數據進行清理。

2.根據權利要求1所述的方法，其特征在于，

所述第二性能指標包括：所述Worker端的全部內存的占用率，所述第一清理條件包括：占用率達到第一預設占用率；或者，

所述第二性能指標包括：所述Worker端的中央處理器的負載，所述第一清理條件包括：負載值達到第一預設負載值；或者，

所述第二性能指標包括：所述Worker端的全部內存的占用率和所述Worker端的中央處理器的負載，所述第一清理條件包括：占用率達到第一預設占用率和負載值達到第一預設負載值。

3.根據權利要求1所述的方法，其特征在于，所述方法還包括：

當判斷出所述壓力值大于所述預設壓力閾值時，對第三性能指標和第四性能指標進行監測；其中，所述第三性能指標為：所述Driver端虛擬機的內存的占用率，所述第四性能指標為：能夠表征所述Driver端的運行狀態的指標；

當監測到所述第三性能指標的指標值達到第二預設閾值時，觸發所述Driver端虛擬機中的GC程序；

當監測到所述第四性能指標的指標值滿足第二清理條件時，觸發所述垃圾清理器對所述Driver端中的垃圾數據進行清理。

4.根據權利要求3所述的方法，其特征在于，

所述第四性能指標包括：所述Driver端的全部內存的占用率，所述第二清理條件包括：占用率達到第二預設占用率；或者，

所述第四性能指標包括：所述Driver端的中央處理器的負載，所述第二清理條件包括：負載值達到第二預設負載值；或者，

所述第四性能指標包括：所述Driver端的全部內存的占用率和所述Driver端的中央處理器的負載，所述第二清理條件包括：占用率達到第二預設占用率和負載值達到第二負載值。

5.根據權利要求1-4任一項所述的方法，其特征在于，所述方法還包括：

當判斷出所述壓力值大于所述預設壓力閾值時，降低接收待處理任務的速率。

6.根據權利要求1-4任一項所述的方法，其特征在于，所述根據監測得到的數量計算所述消息隊列的壓力值的步驟，包括：

根據監測得到的數量，通過預設公式計算所述消息隊列的壓力值；其中，所述預設公式為：

P_t(s)＝P_t(n)*P_t(v)

其中，P_t(s)為：t時刻，所述消息隊列的壓力值；P_t(n)為：所述Driver端在t時刻的事件占滿率；P_t(v)為：所述Driver端在t時刻的數量變化率；

P_t(n)＝Num(t)/Num(max)

其中，Num(t)為：t時刻，所述消息隊列包括的待處理任務的數量；Num(max)為：所述消息隊列所能容納的待處理任務的數量；

P_t(v)＝Num(t-i)/Num(t)

其中，Num(t-i)為：t-i時刻，所述消息隊列包括的待處理任務的數量，i為預設單位時長。