[發明專利]批量作業處理方法、裝置及電子設備

在審

• 申請號: 202310437884.6
• 申請日: 2023-04-21
• 公開（公告）號: CN116501468A
• 公開（公告）日: 2023-07-28
• 發明（設計）人: 王旭
• 申請（專利權）人: 中銀金融科技有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 李柱雄

本發明提供一種批量作業處理方法、裝置及電子設備，涉及數據處理技術領域，該方法包括：采集目標批量作業的當前運行日志，根據當前運行日志，確定目標批量作業中各組作業的執行時耗；根據各組作業所屬的目標作業類型，確定各組作業對應的基準時耗數據；基準時耗數據是根據目標作業類型下的樣本批量作業的歷史運行日志獲取的；根據執行時耗和基準時耗數據，對各組作業的并發數控制值進行調整；并發數控制值為對各組作業的并發執行作業數量進行控制的最大值；根據調整后的并發數控制值，對各組作業進行處理。本發明實現適應性地調整各組作業的并發數控制值，有效減少批量作業處理帶來的資源沖突的同時，提高資源利用率。

技術領域

本發明涉及數據處理技術領域，尤其涉及一種批量作業處理方法、裝置及電子設備。

背景技術

在不同產品的不同批量流程處理中，由于涉及的批量作業及數量皆不相同，每個批量作業的資源需求也不相同，因此如何精準設置批量作業的最大并發數，以對批量作業進行高效處理是目前業界亟待解決的重要課題。

現有技術中，在批量作業處理中通常根據人工經驗設置批量作業的并發執行數量。導致并發執行數量受人工經驗影響較大，在批量作業處理中，若并發執行數量設置過大，則會導致計算資源不足，如CPU(Central?Processing?Unit，中央處理器)資源不足或內存資源不足，造成資源沖突嚴重，進而堵塞作業；若并發執行數量設置過小，則會導致不能充分使用計算資源，導致批量作業處理流程時耗加長。

因此，現在亟需一種批量作業處理方法及裝置來解決上述問題。

發明內容

本發明提供一種批量作業處理方法、裝置及電子設備，用以解決現有技術中人工經驗設置批量作業的并發數，導致批量作業處理的資源沖突嚴重或資源利用率低的缺陷，實現減少批量作業處理帶來的資源沖突的同時，提高資源利用率。

本發明提供一種批量作業處理方法，包括：

采集目標批量作業的當前運行日志，根據作業類型對所述目標批量作業進行分組，并根據所述當前運行日志，確定所述目標批量作業中各組作業的執行時耗；

根據所述各組作業所屬的目標作業類型，確定所述各組作業對應的基準時耗數據；所述基準時耗數據是根據所述目標作業類型下的樣本批量作業的歷史運行日志獲取的；

根據所述執行時耗和所述基準時耗數據，對所述各組作業的并發數控制值進行調整；所述并發數控制值為對所述各組作業的并發執行作業數量進行控制的最大值；

根據調整后的并發數控制值，對所述各組作業進行處理。

根據本發明提供的一種批量作業處理方法，所述方法還包括：

根據所述目標作業類型下的樣本批量作業的歷史運行日志，獲取所述樣本批量作業中各樣本作業的多個歷史時耗數據；

對所述多個歷史時耗數據進行分位數處理，得到所述樣本批量作業對應的時耗上分位值以及時耗下分位值；

根據所述時耗上分位值以及所述時耗下分位值，構建所述基準時耗數據。

根據本發明提供的一種批量作業處理方法，所述根據所述執行時耗和所述基準時耗數據，對所述各組作業的并發數控制值進行調整，包括：

將所述執行時耗和所述基準時耗數據進行對比，確定所述各組作業對應的時耗對比值；

根據所述時耗對比值和所述各組作業的作業數量，確定所述各組作業對應的時耗波動率；

根據所述時耗波動率確定所述各組作業的并發執行數量調整度；

根據所述并發執行數量調整度、所述目標作業類型對應的最大并發執行數量，以及所述目標作業類型對應的最小并發執行數量，對所述各組作業的并發數控制值進行調整。