[發明專利]一種基于大數據任務的自適應部署方法、裝置及電子設備

在審

• 申請號: 202111140468.7
• 申請日: 2021-09-28
• 公開（公告）號: CN113867956A
• 公開（公告）日: 2021-12-31
• 發明（設計）人: 陳曹振;何坤;樊宇;苗宇
• 申請（專利權）人: 綠盟科技集團股份有限公司;北京神州綠盟科技有限公司;神州綠盟成都科技有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/48;G06F11/32
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 趙小霞

本申請公開一種基于大數據任務的自適應部署方法、裝置及電子設備，該方法包括啟動任務集合中的第一任務，并根據資源分配策略，為第一任務分配設備資源，當確定第一任務完全正常運行時，運行第一任務，并啟動任務集合中的第二任務，然后根據資源分配策略為第二任務分配設備資源；當確定設備資源被分配完后，如果第一任務部分正常運行，則關閉第一任務不能正常運行的部分，并生成相應的報警報告。基于上述方法可以實現在有限的設備資源下，通過自動運維，充分的利用設備資源，解決當前大數據任務部署過程中存在設備資源浪費的問題。

技術領域

本申請涉及大數據技術領域，尤其涉及一種基于大數據任務的自適應部署方法、裝置及電子設備。

背景技術

大數據任務的部署是個復雜的過程，目前的大數據任務的實施部署,一般是先獲取用戶的數據量級,如100w/s的TPS(Transaction Processing Systems，事務處理系統),然后根據測試得到設備資源的性能參數，如設備計算量等,為用戶提供一個大數據任務的部署方案。例如，需要3臺XXX內存XXX CPU(Central Processing Unit,中央處理器)配置的設備，符合用戶大數據任務所需的部署性能要求。

然而，上述方法在實際操作中存在設備資源浪費的問題。例如，若經過測試得到在3臺內存128g的集群的環境下(3*128＝384g內存),為大數據任務分配256g的內存,最高可以計算500w/s的數據量，那么,就會以此為標準配置大數據任務的資源。然而，如果用戶的數據量沒有達到500w/s或者用戶的集群性能更高，換而言之，在這種情況下，大數據任務不需要被分配這么多的資源,這其中就造成了設備資源的浪費。

發明內容

本申請提供一種基于大數據任務的自適應部署方法、裝置及電子設備，實現在有限的設備資源下，通過自動運維，充分的利用設備資源，用以解決當前大數據任務部署過程中存在設備資源浪費的問題。

第一方面，本申請提供了一種網絡資產變化監控的方法，所述方法包括：

啟動任務集合中的第一任務，并根據資源分配策略，為所述第一任務分配設備資源，其中，所述資源分配策略表征根據預設比例為所述任務集合中的任務分配所述設備資源的策略；

若所述第一任務完全正常運行，則運行所述第一任務，并啟動所述任務集合中的第二任務，根據所述資源分配策略為所述第二任務分配所述設備資源；

在所述設備資源被分配完后，若所述第一任務部分正常運行，則關閉所述第一任務不能正常運行的部分，并生成相應的報警報告。

通過上述方法，實現在有限的設備資源下，通過自動運維，充分的利用設備資源。

在一種可能的設計中，在所述啟動任務集合中的第一任務，并根據資源分配策略，為所述第一任務分配設備資源之前，還包括：

獲取攜帶優先級標識的多個大數據任務，其中，每個大數據任務包括多個攜帶子優先級標識的計算任務，所述優先級標識表征任務啟動的先后順序；

根據所述優先級標識，對所述大數據任務進行排序，得到第一排序結果；

根據所述子優先級標識，對每個大數據任務中的所述計算任務進行排序，得到第二排序結果；

根據所述第一排序結果以及所述第二排序結果，得到按照優先級排序的任務集合。

通過上述方法，通過對大數據任務進行優先級排序，實現在自動運維中針對性地分配設備資源。

在一種可能的設計中，所述根據資源分配策略，為所述第一任務分配設備資源，包括：

為所述第一任務分配預設比例的設備資源，其中，所述第一任務包括多個計算任務；