[發明專利]任務處理方法及裝置、存儲介質、電子裝置

在審

• 申請號: 202210122369.4
• 申請日: 2022-02-09
• 公開（公告）號: CN114490077A
• 公開（公告）日: 2022-05-13
• 發明（設計）人: 徐斌
• 申請（專利權）人: 浙江大華技術股份有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F16/28;G06F11/34
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 趙靜

本發明實施例提供了一種任務處理方法及裝置、存儲介質、電子裝置，該方法包括：在確定集群數據庫中當前執行的任務中包括異常任務的情況下，按照預設時間間隔獲取集群數據庫中節點資源的資源使用率，確定M個資源使用率，其中，資源使用率用于表示集群數據庫中的資源的使用情況，M是大于1的自然數；利用M個資源使用率確定集群數據庫的平均資源使用率，以確定集群數據庫的資源使用率；按照集群數據庫的資源使用率對異常任務進行處理。通過本發明，解決了相關技術中處理集群數據庫中異常任務的問題，達到保證任務正常執行的效果。

技術領域

本發明實施例涉及數據處理領域，具體而言，涉及一種任務處理方法及裝置、存儲介質、電子裝置。

背景技術

Greenplum是面向數據庫倉庫應用的關系型數據庫，基于Postgresql開發。采用shared-nothing的大規模并行處理架構，具有可橫向伸縮、高可用、高性能等優點。但是，在使用過程中，由于硬件問題或者使用不當，經常導致集群不能正常提供服務，需要運維人員去處理。如果運維人員不能及時處理，就會影響現場相關業務，給用戶帶來不好的體驗。

針對以上出現的問題，常見的有以下處理方式，部署Greenplum集群狀態監控裝置，對Greenplum集群中的故障節點進行自檢查、自恢復和自啟動。

該方案主要用來監控集群的運行狀態，只能保證在集群運行狀態異常的進行處理。并未對集群資源消耗情況及集群性能情況進行監控，在集群壓力較大的情況下，此時集群運行狀態雖然為正常，但是由于集群壓力較大，大部分任務都無法正常執行。

發明內容

本發明實施例提供了一種任務處理方法及裝置、存儲介質、電子裝置，以至少解決相關技術中處理集群數據庫中異常任務的問題。

根據本發明的一個實施例，提供了一種任務處理方法，包括：在確定集群數據庫中當前執行的任務中包括異常任務的情況下，按照預設時間間隔獲取上述集群數據庫中節點資源的資源使用率，確定M個資源使用率，其中，上述資源使用率用于表示上述集群數據庫中的資源的使用情況，上述M是大于1的自然數；利用上述M個資源使用率確定上述集群數據庫的平均資源使用率，以確定上述集群數據庫的資源使用率；按照上述集群數據庫的資源使用率對上述異常任務進行處理。

根據本發明的另一個實施例，提供了一種任務處理裝置，包括：第一獲取模塊，用于在確定集群數據庫中當前執行的任務中包括異常任務的情況下，按照預設時間間隔獲取上述集群數據庫中節點資源的資源使用率，確定M個資源使用率，其中，上述資源使用率用于表示上述集群數據庫中的資源的使用情況，上述M是大于1的自然數；第一確定模塊，用于利用上述M個資源使用率確定上述集群數據庫的平均資源使用率，以確定上述集群數據庫的資源使用率；第一處理模塊，用于按照上述集群數據庫的資源使用率對上述異常任務進行處理。

在一個示例性實施例中，上述裝置還包括：第二獲取模塊，用于在確定集群數據庫中當前執行的任務中包括異常任務的情況下，按照預設時間間隔獲取集群數據庫中節點資源的資源使用率，確定M個資源使用率之前，獲取上述集群數據庫中當前執行的任務的開始執行時間和當前時間之間的差值，確定為上述當前執行的任務的第一執行時間；第二確定模塊，用于在上述第一執行時間大于第一預設閾值的情況下，將上述當前執行的任務確定為上述異常任務。

在一個示例性實施例中，上述裝置還包括：第三獲取模塊，用于在確定集群數據庫中當前執行的任務中包括異常任務的情況下，按照預設時間間隔獲取集群數據庫中節點資源的資源使用率，確定M個資源使用率之前，獲取上述集群數據庫中當前執行的N個任務，其中，上述N是大于1的自然數；第三確定模塊，用于將上述N個任務中相同的任務確定為上述異常任務。

在一個示例性實施例中，上述裝置還包括：第四確定模塊，用于利用上述M個資源使用率確定上述集群數據庫的平均資源使用率之后，在上述平均資源使用率大于第二預設閾值的情況下，確定服務器資源異常，以確定上述集群數據庫的資源存在異常，其中，上述節點資源包括上述服務器資源。