[發(fā)明專利]作業(yè)處理方法、裝置以及計算機設(shè)備

在審

• 申請?zhí)枺?/td>: 202010319530.8
• 申請日: 2020-04-21
• 公開（公告）號: CN111552547A
• 公開（公告）日: 2020-08-18
• 發(fā)明（設(shè)計）人: 張健
• 申請（專利權(quán)）人: 北京金山云網(wǎng)絡(luò)技術(shù)有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50
• 代理公司: 北京超凡宏宇專利代理事務(wù)所(特殊普通合伙) 11463
• 代理人: 徐彥圣

本公開實施例提供了一種作業(yè)處理方法、裝置以及計算機設(shè)備，涉及云計算數(shù)據(jù)處理技術(shù)領(lǐng)域，緩解了作業(yè)處理過程中計算資源的利用率較低，導(dǎo)致作業(yè)處理效率較低的技術(shù)問題。該方法包括：獲取待處理作業(yè)；基于所述待處理作業(yè)的執(zhí)行階段，將所述待處理作業(yè)拆分成多個作業(yè)步；根據(jù)處理每個所述作業(yè)步所需的計算資源，利用多個不同的所述計算資源分別處理所述作業(yè)步，得到所述待處理作業(yè)的最終處理結(jié)果。

技術(shù)領(lǐng)域

本申請涉及云計算數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其是涉及一種作業(yè)處理方法、裝置以及計算機設(shè)備。

背景技術(shù)

數(shù)據(jù)處理的目的包括從大量的數(shù)據(jù)中推導(dǎo)出需要的數(shù)據(jù)。作業(yè)(job)處理也屬于數(shù)據(jù)處理，其中，作業(yè)是指在某些操作系統(tǒng)中計算機操作者交給操作系統(tǒng)的待處理數(shù)據(jù)。

目前，在作業(yè)處理的過程中，需要中央處理器(CPU，central processing unit)、內(nèi)存、磁盤、網(wǎng)絡(luò)等計算資源來對作業(yè)進行處理，以得到作業(yè)處理結(jié)果。

但是，現(xiàn)有的作業(yè)處理方法在作業(yè)處理的過程中，計算資源的利用不充分，導(dǎo)致作業(yè)處理的處理效率較低。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種作業(yè)處理方法、裝置以及計算機設(shè)備，以緩解作業(yè)處理過程中計算資源的利用率較低，導(dǎo)致作業(yè)處理效率較低的技術(shù)問題。

第一方面，本申請實施例提供了一種作業(yè)處理方法，所述方法包括：

獲取待處理作業(yè)；

基于所述待處理作業(yè)的執(zhí)行階段，將所述待處理作業(yè)拆分成多個作業(yè)步；

根據(jù)處理每個所述作業(yè)步所需的計算資源，利用多個不同的所述計算資源分別處理所述作業(yè)步，得到所述待處理作業(yè)的最終處理結(jié)果。

在一個可能的實現(xiàn)中，根據(jù)處理每個所述作業(yè)步所需的計算資源，利用多個不同的所述計算資源分別處理所述作業(yè)步，得到所述待處理作業(yè)的最終處理結(jié)果的步驟，包括：

循環(huán)進行如下步驟，直至得到所述待處理作業(yè)的最終處理結(jié)果：

利用當(dāng)前的所述計算資源處理當(dāng)前的所述作業(yè)步，得到當(dāng)前的所述作業(yè)步與下一個所述作業(yè)步之間進行數(shù)據(jù)交換的數(shù)據(jù)集；

根據(jù)處理下一個所述作業(yè)步所需的所述計算資源，確定下一個所述計算資源；

將所述當(dāng)前的作業(yè)步間交換數(shù)據(jù)集以及下一個所述作業(yè)步調(diào)度至下一個所述計算資源，以基于所述當(dāng)前的作業(yè)步間交換數(shù)據(jù)集利用下一個所述計算資源處理下一個所述作業(yè)步。

在一個可能的實現(xiàn)中，將下一個所述作業(yè)步調(diào)度至下一個所述計算資源的步驟，包括：

對于多個下一個所述作業(yè)步，按照多個下一個所述作業(yè)步之間的優(yōu)先級順序確定待調(diào)度的下一個目標(biāo)作業(yè)步；

將所述下一個目標(biāo)作業(yè)步調(diào)度至下一個所述計算資源。

在一個可能的實現(xiàn)中，每個所述作業(yè)步間交換數(shù)據(jù)集在作業(yè)步間的存儲模式包括下述任意一項：

緩存模式、消息隊列模式、分布式存儲模式以及數(shù)據(jù)庫模式。

在一個可能的實現(xiàn)中，根據(jù)處理下一個所述作業(yè)步所需的所述計算資源，確定下一個所述計算資源的步驟，包括：

基于所述作業(yè)步的歷史處理結(jié)果，對處理下一個所述作業(yè)步所需的所述計算資源進行調(diào)整，按照調(diào)整結(jié)果確定下一個所述計算資源。

在一個可能的實現(xiàn)中，所述歷史處理結(jié)果包括歷史處理耗時和歷史處理資源利用率；基于所述作業(yè)步的歷史處理結(jié)果，對處理下一個所述作業(yè)步所需的所述計算資源進行調(diào)整的步驟，包括：