[發明專利]任務執行方法與裝置、電子設備、存儲介質有效
| 申請號： | 202010085756.6 | 申請日： | 2020-02-11 |
| 公開（公告）號： | CN110928721B | 公開（公告）日： | 2020-06-19 |
| 發明（設計）人： | 龍下洋 | 申請（專利權）人： | 北京懿醫云科技有限公司 |
| 主分類號： | G06F11/07 | 分類號： | G06F11/07 |
| 代理公司： | 北京律智知識產權代理有限公司 11438 | 代理人： | 王輝;闞梓瑄 |
| 地址： | 100195 北京市海淀區*** | 國省代碼： | 北京;11 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 任務 執行 方法 裝置 電子設備 存儲 介質 | ||
1.一種基于Spark的任務執行方法，其特征在于，所述方法包括：
在Spark系統中執行循環過程，直至目標任務的執行狀態為執行成功；其中，所述循環過程包括：
在當前執行器中執行所述目標任務，并獲取所述目標任務的執行狀態；
當確定所述執行狀態屬于執行失敗，且確定失敗原因屬于內存溢出時，重新創建執行器，并動態擴展重新創建的執行器的內存；其中，動態擴展重新創建的執行器內存，包括：獲取所述當前執行器的內存、所述執行狀態屬于執行失敗的次數以及用戶對擴展參數配置的參數值；根據所述當前執行器的內存、所述執行狀態屬于執行失敗的次數以及所述參數值，擴展重新創建的執行器的內存；
將所述重新創建的執行器作為所述當前執行器以執行所述目標任務。
2.根據權利要求1所述的方法，其特征在于，在確定所述執行狀態屬于執行失敗之后，且在確定失敗原因屬于內存溢出之前，所述方法還包括：
判斷所述執行狀態屬于執行失敗的次數是否大于預設次數；
當所述執行狀態屬于執行失敗的次數不大于所述預設次數時，獲取失敗原因；
當所述執行狀態屬于執行失敗的次數大于所述預設次數時，確定所述目標任務執行失敗。
3.根據權利要求1所述的方法，其特征在于，所述根據當前執行器的內存、所述執行狀態屬于執行失敗的次數以及所述參數值，擴展重新創建的執行器的內存，包括：
將當前執行器的內存、所述執行狀態屬于執行失敗的次數以及所述參數值的乘積，與當前執行器的內存之和作為重新創建的執行器的內存。
4.根據權利要求1所述的方法，其特征在于，所述參數值和所述當前執行器的內存呈負相關。
5.根據權利要求1所述的方法，其特征在于，在將重新創建的執行器作為所述當前執行器以執行所述目標任務之前，所述方法還包括：
將所述目標任務的執行狀態修改為等待執行，并將所述目標任務添加至任務隊列中。
6.一種基于Spark的任務執行裝置，其特征在于，所述裝置包括：
任務執行模塊，用于在Spark系統中執行循環過程，直至目標任務的執行狀態為執行成功；其中，所述循環過程包括：
在當前執行器中執行所述目標任務，并獲取所述目標任務的執行狀態；
當確定所述執行狀態屬于執行失敗，且確定失敗原因屬于內存溢出時，重新創建執行器，并動態擴展重新創建的執行器的內存；其中，動態擴展重新創建的執行器內存，包括：獲取所述當前執行器的內存、所述執行狀態屬于執行失敗的次數以及用戶對擴展參數配置的參數值；根據所述當前執行器的內存、所述執行狀態屬于執行失敗的次數以及所述參數值，擴展重新創建的執行器的內存；
將所述重新創建的執行器作為所述當前執行器以執行所述目標任務。
7.一種電子設備，其特征在于，包括：
處理器；以及
存儲器，用于存儲所述處理器的可執行指令；
其中，所述處理器配置為經由執行所述可執行指令來執行權利要求1~5任一項所述的方法。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于北京懿醫云科技有限公司，未經北京懿醫云科技有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202010085756.6/1.html，轉載請聲明來源鉆瓜專利網。
