[發明專利]數倉資源調配方法、裝置、電子設備以及存儲介質

在審

• 申請號: 202310247038.8
• 申請日: 2023-03-09
• 公開（公告）號: CN116467066A
• 公開（公告）日: 2023-07-21
• 發明（設計）人: 栗征征;錢浩東;周明偉;占文平;舒凡;柳楊
• 申請（專利權）人: 浙江大華技術股份有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F16/28
• 代理公司: 深圳市威世博知識產權代理事務所(普通合伙) 44280
• 代理人: 嚴翠霞

本申請公開了一種數倉資源調配方法、裝置、電子設備以及存儲介質，該數倉資源調配方法包括：響應于目標對象發送的任務處理請求，獲取任務處理請求中的結構化查詢語言和任務處理器的目標處理數量；對比任務處理器的目標處理數量和結構化查詢語言的數量，得到對比結果；根據對比結果調配數倉任務系統中的任務處理器進行結構化查詢語言處理。上述方案，能夠提高數倉任務系統的資源利用率和任務處理效率。

技術領域

本申請涉及數據倉庫技術領域，特別是涉及一種數倉資源調配方法、裝置、電子設備以及存儲介質。

背景技術

隨著社會的現代化發展，各式各樣的數據成為了發展中的不可或缺的需求，大數據技術成為熱點技術。

目前，大數據技術已經非常成熟，例如常用的有Apache公司基于Hadoop開發的數據倉庫工具Hive，通過Hive可以對數據倉庫中的海量數據進行查詢分析。

為了實現數倉任務的并發處理，需要在數倉任務提交前分配較多資源，但在數倉任務提交后所需的資源卻非常少，因此在數倉任務處理過程中會造成資源浪費。

發明內容

本申請至少提供一種數倉資源調配方法、裝置、設備以及計算機可讀存儲介質。

本申請第一方面提供了一種數倉資源調配方法，所述方法應用于數倉任務系統中的任務管理器，所述數倉任務系統還包括任務處理器，所述方法包括：響應于目標對象發送的任務處理請求，獲取所述任務處理請求中的結構化查詢語言和所述任務處理器的目標處理數量；對比所述任務處理器的目標處理數量和所述結構化查詢語言的數量，得到對比結果；根據所述對比結果調配所述數倉任務系統中的任務處理器進行結構化查詢語言處理。

在一實施例中，所述對比結果包括所述任務處理器的目標處理數量小于或等于所述結構化查詢語言的數量，所述根據所述對比結果調配所述數倉任務系統中的任務處理器進行結構化查詢語言處理的步驟，包括：若所述任務處理器的目標處理數量小于或等于所述結構化查詢語言的數量，則向所述數倉任務系統請求新增任務處理器；將所述任務處理請求轉發至所述新增任務處理器進行結構化查詢語言處理。

在一實施例中，所述對比結果包括所述任務處理器的目標處理數量小于或等于所述結構化查詢語言的數量，所述根據所述對比結果調配所述數倉任務系統中的任務處理器進行結構化查詢語言處理的步驟，包括：若所述任務處理器的目標處理數量小于或等于所述結構化查詢語言的數量，且所述結構化查詢語言的數量小于所述任務處理器的預設處理數量，則等待所述任務處理器將已有的數倉任務處理完成后，轉發所述任務處理請求至所述任務處理器進行結構化查詢語言處理。

在一實施例中，所述對比結果包括所述任務處理器的目標處理數量小于或等于所述結構化查詢語言的數量，所述根據所述對比結果調配所述數倉任務系統中的任務處理器進行結構化查詢語言處理的步驟，包括：若所述任務處理器的目標處理數量小于或等于所述結構化查詢語言的數量，且所述結構化查詢語言的數量大于或等于所述任務處理器的預設處理數量，則向所述數倉任務系統請求新增資源，所述新增資源用于創建新增任務處理器；等待所述數倉任務系統中的任務處理器將已有的數倉任務處理完成后，將所述任務處理請求轉發至所述數倉任務系統中的任務處理器和所述新增任務處理器進行結構化查詢語言處理。

在一實施例中，所述對比結果包括所述任務處理器的目標處理數量大于所述結構化查詢語言的數量，所述根據所述對比結果調配所述數倉任務系統中的任務處理器進行結構化查詢語言處理的步驟，包括：若所述任務處理器的目標處理數量大于所述結構化查詢語言的數量，將所述任務處理請求轉發至所述任務處理器，以使所述任務處理器進行結構化查詢語言處理。

在一實施例中，所述方法還包括：對所述數倉任務系統中的任務處理器進行目標狀態檢測，目標狀態包括空閑狀態；銷毀所述數倉任務系統中任務處理器處于所述空閑狀態的任務處理器；向所述數倉任務系統申請回收所述處于空閑狀態的任務處理器對應的資源數據。