[發明專利]任務運行日志的處理方法、裝置、設備及存儲介質

在審

• 申請號: 202010340464.2
• 申請日: 2020-04-26
• 公開（公告）號: CN111611127A
• 公開（公告）日: 2020-09-01
• 發明（設計）人: 王昱森;林靜露;王勃;羅偉鋒
• 申請（專利權）人: 第四范式（北京）技術有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30;G06F16/18;G06F16/33;G06F16/35
• 代理公司: 北京博雅睿泉專利代理事務所(特殊普通合伙) 11442
• 代理人: 馬鐵良

本公開提出了一種任務運行日志的處理方法、裝置、設備及存儲介質，該方法包括：獲取并保存預置的報錯原因關鍵詞和對應的報錯規則；當任務運行失敗時，根據所保存的報錯規則去匹配任務運行日志；將匹配成功的報錯規則所對應的報錯原因關鍵詞展示到前端。

技術領域

本發明涉及人工智能領域，更具體地，涉及一種任務運行日志的處理方法、一種任務運行日志的處理裝置、一種包括至少一個計算裝置和至少一個存儲裝置的設備、及一種計算機可讀存儲介質。

背景技術

目前，在人工智能領域，普遍無法做到運行錯誤自動探測和運行狀態透明化。現有技術中，當任務運行失敗時，用戶需要對日志進行關鍵詞搜索和定位，然后人工發現問題，該種方法主要依賴于人工手動發現問題，極大浪費時間和工作量，導致效率低下；同時，在任務運行失敗時，其僅能在任務運行結束后由人工手動去進行分析，無法做到事中實時展示，也無法提供運行失敗原因的自動探測，對于金融、政府等要求可信可靠的行業用戶，是無法被實際應用的。

發明內容

本公開實施例的一個目的是提供一種任務運行日志的處理的新的技術方案。

根據本公開的第一方面，提供了一種任務運行日志的處理方法，其包括：

獲取并保存預置的報錯原因關鍵詞和對應的報錯規則；

當任務運行失敗時，根據所保存的報錯規則去匹配任務運行日志；

將匹配成功的報錯規則所對應的報錯原因關鍵詞展示到前端。

可選地，所述報錯原因關鍵詞和對應的報錯規則包括如下中的至少一種：

內存不足，對應單個關鍵字報錯；

license超限，對應同時滿足多個關鍵字且不在同一行報錯；

算法參數配置錯誤，對應同時滿足多個關鍵字且不在同一行報錯；

腳本語法錯誤，對應同時滿足多個關鍵字且不在同一行報錯；

集群時區不同步，對應同時滿足多個關鍵字且不在同一行報錯；

權限不足，對應單個關鍵字報錯。

可選地，所述方法還包括：根據所述任務中的執行步驟的先后順序，對所述任務的運行日志進行分類收集，從而得到多個子日志文件；

所述根據所保存的報錯規則去匹配任務運行日志包括：根據所述多個子日志文件的產生順序的倒序去進行匹配。

可選地，所述多個子日志文件包括：引擎日志、非業務日志和業務日志。

可選地，所述引擎日志用于記錄調度執行引擎時的系統相關信息；所述非業務日志用于記錄任務運行時的系統相關信息；所述業務日志用于記錄任務運行時的算法相關信息。

可選地，所述引擎日志在所述任務運行之前的第一階段生成，所述非業務日志在所述任務運行的第二階段生成，所述業務日志在所述任務運行的第三階段生成，所述第二階段、所述第三階段依時間順序先后執行。

可選地，所述多個子日志文件包括引擎日志和非業務日志，

所述根據所述多個子日志文件的產生順序的倒序去進行匹配，包括：

從最后一條所述非業務日志開始從后向前依次匹配。

可選地，所述多個子日志文件包括引擎日志、非業務日志和業務日志，所述根據所述多個子日志文件的產生順序的倒序去進行匹配，包括：

從最后一條所述業務日志開始從后向前依次匹配。

可選地，當任務運行失敗時，由執行引擎向調度器報錯，由調度器執行所述匹配和展示到前端的步驟。