[發(fā)明專利]數(shù)據(jù)處理任務(wù)執(zhí)行進度的監(jiān)測方法及裝置

在審

• 申請?zhí)枺?/td>: 202110587044.9
• 申請日: 2021-05-27
• 公開（公告）號: CN113204692A
• 公開（公告）日: 2021-08-03
• 發(fā)明（設(shè)計）人: 郭家杰;李松
• 申請（專利權(quán)）人: 北京深演智能科技股份有限公司
• 主分類號: G06F16/907
• 分類號: G06F16/907;G06F16/2458;G06Q10/06
• 代理公司: 北京康信知識產(chǎn)權(quán)代理有限責任公司 11240
• 代理人: 董文倩

1.一種數(shù)據(jù)處理任務(wù)執(zhí)行進度的監(jiān)測方法，其特征在于，包括：

獲取數(shù)據(jù)處理任務(wù)的標識，并依據(jù)所述標識查找所述數(shù)據(jù)處理任務(wù)對應(yīng)的待處理數(shù)據(jù)；

確定所述待處理數(shù)據(jù)的數(shù)據(jù)量以及執(zhí)行所述數(shù)據(jù)處理任務(wù)的設(shè)備的當前可用計算資源；

依據(jù)所述待處理數(shù)據(jù)的數(shù)據(jù)量以及所述當前可用計算資源對所述數(shù)據(jù)處理任務(wù)的執(zhí)行進度進行監(jiān)測。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，依據(jù)所述待處理數(shù)據(jù)的數(shù)據(jù)量以及所述當前可用計算資源對所述數(shù)據(jù)處理任務(wù)的執(zhí)行進度進行監(jiān)測，包括：

依據(jù)所述待處理數(shù)據(jù)的數(shù)據(jù)量以及所述當前可用計算資源，確定在所述當前可用計算資源下，執(zhí)行完成所述數(shù)據(jù)處理任務(wù)所需的第一時長；

比較所述第一時長與第一預(yù)設(shè)時長，如果所述第一時長超過所述第一預(yù)設(shè)時長，減少所述待處理數(shù)據(jù)的數(shù)據(jù)量或者增加執(zhí)行所述數(shù)據(jù)處理任務(wù)的設(shè)備的可用計算資源。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，依據(jù)所述待處理數(shù)據(jù)的數(shù)據(jù)量以及所述當前可用計算資源對所述數(shù)據(jù)處理任務(wù)的執(zhí)行進度進行監(jiān)測，還包括：

獲取所述數(shù)據(jù)處理任務(wù)完成第一目標進度時所需的第二時長；

比較所述第二時長與第二預(yù)設(shè)時長，其中，所述第二預(yù)設(shè)時長是預(yù)估的所述數(shù)據(jù)處理任務(wù)完成所述第一目標進度時所需的時長；

如果所述第二時長與所述第二預(yù)設(shè)時長不匹配，生成報警信號。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，獲取所述數(shù)據(jù)處理任務(wù)完成第一目標進度時所需的第二時長，包括如下至少之一：

按照所述數(shù)據(jù)處理任務(wù)執(zhí)行進度的預(yù)設(shè)進度間隔獲取所述數(shù)據(jù)處理任務(wù)完成第一目標進度時所需的第二時長；

按照預(yù)設(shè)時間間隔獲取所述數(shù)據(jù)處理任務(wù)完成第一目標進度時所需的第二時長。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，確定執(zhí)行所述數(shù)據(jù)處理任務(wù)的設(shè)備的當前可用計算資源，包括：

依據(jù)隊列空閑資源值、所述設(shè)備的集群整體空閑資源值以及所述設(shè)備在預(yù)設(shè)時間段內(nèi)即將釋放的資源值確定所述設(shè)備的集群算力值，其中，所述集群算力值用于表征所述設(shè)備的當前可用計算資源，隊列用于處理所述數(shù)據(jù)處理任務(wù)。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

如果所述可用計算資源增加，依據(jù)所述數(shù)據(jù)處理任務(wù)的當前完成進度以及新增加的所述可用計算資源，確定執(zhí)行所述數(shù)據(jù)處理任務(wù)的剩余進度時，完成第二目標進度時所需的第三時長；

比較所述第三時長與第三預(yù)設(shè)時長，其中，所述第三預(yù)設(shè)時長是預(yù)估的所述數(shù)據(jù)處理任務(wù)完成所述第二目標進度時所需的時長；

如果所述第三時長與所述第三預(yù)設(shè)時長不匹配，生成報警信號。

7.一種數(shù)據(jù)處理任務(wù)執(zhí)行進度的監(jiān)測裝置，其特征在于，包括：

獲取模塊，用于獲取數(shù)據(jù)處理任務(wù)的標識，并依據(jù)所述標識查找所述數(shù)據(jù)處理任務(wù)對應(yīng)的待處理數(shù)據(jù)；

確定模塊，用于確定所述待處理數(shù)據(jù)的數(shù)據(jù)量以及執(zhí)行所述數(shù)據(jù)處理任務(wù)的設(shè)備的當前可用計算資源；

監(jiān)測模塊，用于依據(jù)所述待處理數(shù)據(jù)的數(shù)據(jù)量以及所述當前可用計算資源對所述數(shù)據(jù)處理任務(wù)的執(zhí)行進度進行監(jiān)測。

8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述監(jiān)測模塊，包括：

確定單元，用于依據(jù)所述待處理數(shù)據(jù)的數(shù)據(jù)量以及所述當前可用計算資源，確定在所述當前可用計算資源下，執(zhí)行完成所述數(shù)據(jù)處理任務(wù)所需的第一時長；

比較單元，用于比較所述第一時長與第一預(yù)設(shè)時長，如果所述第一時長超過所述第一預(yù)設(shè)時長，減少所述待處理數(shù)據(jù)的數(shù)據(jù)量或者增加執(zhí)行所述數(shù)據(jù)處理任務(wù)的設(shè)備的可用計算資源。

9.一種非易失性存儲介質(zhì)，其特征在于，所述非易失性存儲介質(zhì)包括存儲的程序，其中，在所述程序運行時控制所述非易失性存儲介質(zhì)所在設(shè)備執(zhí)行權(quán)利要求1至6中任意一項所述的數(shù)據(jù)處理任務(wù)執(zhí)行進度的監(jiān)測方法。

10.一種處理器，其特征在于，所述處理器用于運行存儲在存儲器中的程序，其中，所述程序運行時執(zhí)行權(quán)利要求1至6中任意一項所述的數(shù)據(jù)處理任務(wù)執(zhí)行進度的監(jiān)測方法。