[發明專利]集群的擴縮容方法、裝置、存儲介質及電子裝置

有效

• 申請號: 202211068528.3
• 申請日: 2022-09-02
• 公開（公告）號: CN115129484B
• 公開（公告）日: 2022-11-29
• 發明（設計）人: 周文凱;鄭艷濤;柳楊;舒凡;張淑云;占文平;栗征征;錢浩東;周明偉
• 申請（專利權）人: 浙江大華技術股份有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 趙靜

本發明實施例提供了一種集群的擴縮容方法、裝置、存儲介質及電子裝置，其中，該集群的擴縮容方法包括：獲取當前集群內當前工作節點的當前數量；根據當前數量、當前集群的當前參數，對當前集群進行第i次擴縮容，其中，i大于1，當前參數包括：當前集群中未處理完的分片的數量、當前集群的當前內存利用率。通過本發明，解決了相關技術中存在的在執行應用任務時,由于資源分配不合理會影響應用任務的執行效率或造成資源浪費的問題。

技術領域

本發明實施例涉及大數據計算資源管理領域，具體而言，涉及一種集群的擴縮容方法、裝置、存儲介質及電子裝置。

背景技術

對于大數據應用來說，資源（包括cpu，內存和磁盤）是影響應用執行效率的一個重要因素。當一個長期運行的應用，若分配給大量資源，可是卻只有少量甚至沒有任務分配給它，而此時有其他的應用卻資源緊張，這就造成了很大的資源浪費和資源不合理的調度。

Trino是一個高度并行和分布式的查詢引擎，Trino 服務有兩種類型：協調器節點和工作節點。協調器負責解析語句、計劃查詢和管理工作節點，工作節點負責執行任務和處理數據。目前，在使用Trino作業計算時，啟動固定工作節點的數量（單個工作節點為資源的基本分配單位），使得在Trino在資源配置過小時容易導致內存溢出或者執行速度過慢，或者資源配置過大時導致資源浪費。因此在執行應用任務時,由于資源分配不合理會影響應用任務的執行效率或造成資源浪費。

針對相關技術中存在的在執行應用任務時,由于資源分配不合理會影響應用任務的執行效率或造成資源浪費的問題，目前尚未提出有效的解決方案。

發明內容

本發明實施例提供了一種集群的擴縮容方法、裝置、存儲介質及電子裝置，以至少解決相關技術中存在的在執行應用任務時,由于資源分配不合理會影響應用任務的執行效率或造成資源浪費的問題。

根據本發明的一個實施例，提供了一種集群的擴縮容方法，包括：獲取當前集群內當前工作節點的當前數量；根據所述當前數量、所述當前集群的當前參數，對所述當前集群進行第i次擴縮容，其中，所述i大于1，所述當前參數包括：所述當前集群中未處理完的分片的數量、所述當前集群的當前內存利用率。

在一個示例性實施例中，根據所述當前數量、所述當前集群的當前參數，對所述當前集群進行第i次擴縮容，包括：根據所述當前集群中未處理完的分片的數量確定所述當前集群需要的工作節點的第一最大數量；在所述第一最大數量大于所述當前數量的情況下，將所述第i次擴縮容確定為對所述當前集群進行擴容；在所述第一最大數量小于所述當前數量的情況下，將所述第i次擴縮容確定為對所述當前集群進行縮容。

在一個示例性實施例中，在所述第一最大數量大于所述當前數量的情況下，將所述第i次擴縮容確定為對所述當前集群進行擴容，包括：根據所述當前數量和第一預設增加數量確定第一調整數量；將所述第一調整數量與所述第一最大數量之間的最小值，確定為所述當前集群實際需要增加的工作節點的第一目標數量；將所述當前集群中當前工作節點的數量調整為所述第一目標數量。

在一個示例性實施例中，在所述將所述當前集群中當前工作節點的數量調整為所述第一目標數量之后，所述方法還包括：在所述第一目標數量小于所述第一最大數量的情況下，將所述第一預設增加數量調整為第二預設增加數量，其中，所述第二預設增加數量大于所述第一預設增加數量，所述第二預設增加數量用于下一次對所述當前集群進行擴容。

在一個示例性實施例中，在所述第一最大數量小于所述當前數量的情況下，將所述第i次擴縮容確定為對所述當前集群進行縮容，包括：獲取所述當前集群內處于空閑狀態的工作節點，以及所述空閑狀態的工作節點的空閑時長；

在所述空閑時長大于或等于第一空閑時長閾值的情況下，刪除所述當前集群中所述空閑狀態的工作節點，其中，所述第一空閑時長閾值與所述當前集群的擴縮容頻率相關，所述當前集群的擴縮容頻率越大所述第一空閑時長閾值越大。