[發明專利]任務動態調整方法、裝置以及設備

在審

• 申請號: 202110342190.5
• 申請日: 2021-03-30
• 公開（公告）號: CN112882818A
• 公開（公告）日: 2021-06-01
• 發明（設計）人: 楊全文
• 申請（專利權）人: 中信銀行股份有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50;G06F16/27
• 代理公司: 北京市蘭臺律師事務所 11354
• 代理人: 張峰

本發明實施例公開了一種任務動態調整方法、裝置、設備以及存儲介質，涉及計算機技術領域。該任務動態調整方法包括：響應任務處理事件，根據待處理文件個數和已開啟工作線程的數量確定是否需要調整工作線程的開啟數量；若是，則根據服務器硬件資源信息、服務器并發量和待處理文件信息中的至少一種，確定減少工作線程或增加工作線程。本發明實施例提供一種任務動態調整方法、裝置以及設備，以提高任務動態調節能力。

技術領域

本發明實施例涉及計算機技術領域，尤其涉及一種任務動態調整方法、裝置以及設備。

背景技術

HBase是一個分布式的、面向列的開源數據庫。HBase的分布式NoSql數據庫主要基于HDFS文件系統進行數據落地。由于HDFS系統不支持文件實時修改，因此為了解決對于實時數據的修改問題，目前HBase采用的設計方式一般為保存數據的多個版本，數據的不同版本可能隨著數據的寫入落在多個小的數據文件(一般不超過128M)上，HBase在服務器節點后臺定期對小數據文件進行整理合并(compact)，將小文件中的冗余數據去除后重新寫成新的文件。此過程類似于windows操作系統的定期磁盤碎片整理。

HBase會默認在后臺啟動處理小文件整理任務的兩個線程池，分別為長合并(longCompact)和短合并(shortCompact)。根據每次需要執行的任務數量以及需要合并的文件大小，來確定整理任務具體交給哪個線程池執行，longCompact負責執行較大的小文件整理，shortCompact負責執行較小的文件整理。當一個線程池空閑時，服務器也會動態將另一個線程池的任務分給相對空閑的線程池。

HBase數據庫技術需要事先指定一定數量的線程執行后臺的小文件整理策略，但是該方法存在如下幾個問題：

隨著現代服務器性能的逐漸提升，HBase集群中單節點可掛載的磁盤越來越多，可以容納的數據量越來越大，實時訪問性能會越來越好，也會伴隨著小文件數量可能越來越多。

當前HBase的整理機制雖然提供了一定的動態調節能力，但是根據實際運維場景看，很難滿足現實的能力。若指定的HBase整理線程池的線程數量太少，對于小文件過多的情況下，整理任務處理不及時，會導致數據的冗余版本過多，在客戶端實時訪問HBase時，會不得不訪問多個文件版本，導致IO次數過多，實時性能下降。

若單純的提高HBase后臺整理線程池的線程數量，則過多的整理線程會大量占用服務器CPU和磁盤IO資源，導致服務器整體吞吐量下降。

發明內容

本發明實施例提供一種任務動態調整方法、裝置以及設備，以提高HBase的任務動態調節能力。

第一方面，本發明實施例提供了一種任務動態調整方法，其特征在于，所述方法包括：

響應任務處理事件，根據待處理文件個數和已開啟工作線程的數量確定是否需要調整工作線程的開啟數量；

若是，則根據服務器硬件資源信息、服務器并發量和待處理文件信息中的至少一種，確定減少工作線程或增加工作線程；

其中，所述服務器硬件資源信息包括：服務器硬盤IO資源信息、服務器CPU資源和進程JVM(Java虛擬機)內存資源信息中的至少一種；所述待處理文件信息包括：待處理文件總數和/或目標文件占比，目標文件是指文件大小超過設定大小閾值的待處理文件。

第二方面，一種任務動態調整裝置，其特征在于，所述方法包括：

調整確定模塊，用于響應任務處理事件，根據待處理文件個數和已開啟工作線程的數量確定是否需要調整工作線程的開啟數量；

線程調整模塊，用于若是，則根據服務器硬件資源信息、服務器并發量和待處理文件信息中的至少一種，確定減少工作線程或增加工作線程；