[發明專利]批量作業的調度方法、裝置、電子設備及存儲介質

在審

• 申請號: 202110341974.6
• 申請日: 2021-03-30
• 公開（公告）號: CN112948092A
• 公開（公告）日: 2021-06-11
• 發明（設計）人: 洪長燦;王立新;劉弢;孫鋒;蔡昕;王毅;李靖;謝淼
• 申請（專利權）人: 中國建設銀行股份有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50;G06Q10/04
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 李慧引

本申請提供了一種批量作業的調度方法、裝置、電子設備及存儲介質，其中，在本申請提供的批量作業的調度方法中，首先獲取各個批量作業信息。然后將各個批量作業信息輸入到預先構建的批量作業運行預測模型中進行運算，得到各個批量作業的運行時長，其中，批量作業運行預測模型預先根據歷史批量作業運行數據構建得到。接著按照各個批量作業信息，對各個批量作業劃分優先級。再結合各個批量作業的運行時長以及各個批量作業的優先級，對各個批量作業的運行順序進行排序。然后獲取各個計算節點的資源可用度。最后基于各個批量作業的運行順序以及各個計算節點的資源可用度，對批量作業的運行進行調度。

技術領域

本申請涉及數據處理技術領域，尤其涉及一種批量作業的調度方法、裝置、電子設備及存儲介質。

背景技術

隨著大數據技術的發展，越來越多的行業重視到數據的重要性，大數據加工已經成為很多企業經營的基礎。批量作業是企業科技的一項重要環節，如何有效的保證批量作業按時完成，不影響業務的開展已經成為批量運維工程師日常工作的重心。

而在現有技術中，在進行批量作業調度時，并沒有一種很好的調度策略能夠較準確地預測出批量作業的運行時長，從而對批量作業進行合理的調度，導致出現某些批量作業運行任務的失敗率較大或者批量作業運行任務不能及時完成的問題。例如，當碰上業務高峰期的時候，待處理數據就會激增，此時如果不能根據各個批量作業的運行時長合理調度批量作業的運行，那么可能就會出現有些計算節點的資源消耗過于緊張，造成批量作業阻塞，而有些計算節點又處于空閑狀態的情況。

發明內容

有鑒于此，本申請提供一種批量作業的調度方法、裝置、電子設備及存儲介質，以解決現有技術中不能準確地預測出批量作業的運行時長，從而對批量作業進行合理的調度，導致出現某些批量作業運行任務的失敗率較大或者批量作業運行任務不能及時完成的問題。

為實現上述目的，本申請提供如下技術方案：

本申請第一方面公開了一種批量作業的調度方法，包括：

獲取各個批量作業信息；

將各個所述批量作業信息輸入到預先構建的批量作業運行預測模型中進行運算，得到各個所述批量作業的運行時長，其中，所述批量作業運行預測模型預先根據歷史批量作業運行數據構建得到；

按照各個所述批量作業信息，對各個所述批量作業劃分優先級；

結合各個所述批量作業的運行時長以及各個所述批量作業的優先級，對各個所述批量作業的運行順序進行排序；

獲取各個計算節點的資源可用度；

基于各個所述批量作業的運行順序以及各個所述計算節點的資源可用度，對所述批量作業的運行進行調度。

可選的，上述的方法，所述批量作業運行預測模型的構建過程，包括：

獲取所述歷史批量作業運行數據；

利用皮爾遜相關系數對所述歷史批量作業運行數據進行相關性分析，得到影響作業批量運行的影響因素；

基于所述影響因素，建立多個預測模型；

通過計算各個所述預測模型的平均絕對誤差，篩選出最優預測模型，作為所述批量作業運行預測模型。

可選的，上述的方法，所述獲取各個計算節點的資源可用度，包括：

對各個所述計算節點進行資源監測；

針對每一個所述計算節點，獲取各個所述計算節點的資源消耗信息，其中，所述資源消耗信息包括磁盤信息、處理器信息以及正在運行的批量作業信息；

利用所述資源消耗信息，計算出每一個所述計算節點的資源可用度。