[發(fā)明專利]失敗任務的影響及溯源分析方法、裝置、設備及存儲介質

在審

• 申請?zhí)枺?/td>: 201811462509.2
• 申請日: 2018-11-30
• 公開（公告）號: CN109614400A
• 公開（公告）日: 2019-04-12
• 發(fā)明（設計）人: 江鶴;柯弘正;文海榮
• 申請（專利權）人: 深圳前海微眾銀行股份有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/242;G06F16/28
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 胡海國;魏蘭

本發(fā)明公開了一種失敗任務的影響及溯源分析方法，該方法包括：獲取與當前運行的HQL任務對應的表數據信息和表的生成規(guī)則信息；根據所述表數據信息在預設的圖形數據庫中創(chuàng)建HQL任務節(jié)點；根據所述表的生成規(guī)則信息構建不同的HQL任務節(jié)點之間的依賴關系，并構建所述不同HQL任務節(jié)點之間的反向依賴關系，形成HQL血緣圖譜；當檢測到某一HQL任務失敗時，根據所述HQL血緣圖譜對失敗的HQL任務進行影響及溯源分析。本發(fā)明還公開了一種失敗任務的影響及溯源分析裝置、設備和一種存儲介質。本發(fā)明能夠實現(xiàn)自動對失敗任務進行影響及溯源分析，保證分析的正確性和實效性。

技術領域

本發(fā)明涉及數據分析技術領域，尤其涉及失敗任務的影響及溯源分析方法、裝置、設備及存儲介質。

背景技術

大數據任務是由很多個小的HQL(Hibernate Query Language，查詢語言)語句組成的，會創(chuàng)建很多的數據表，由于表結構和表數據錯誤等原因，每個小的HQL任務在執(zhí)行的過程中都有可能會失敗。一般情況下，當某個任務運行失敗時，需要評估對依賴于該任務的其他任務是否有影響，同時還需要追溯該任務錯誤的源頭。

目前，失敗任務的影響及溯源分析一般是用關系型數據庫去存儲任務之間的依賴關系，在需要定位問題的時候根據這些依賴關系，人工去配置生成依賴視圖，再去分析相關的任務，確定問題和影響。這種方式的缺陷在于：通過關系型數據庫存儲大量任務之間的依賴關系，執(zhí)行起來非常復雜且擴展性差，進行依賴計算的時候需要全表掃描，效率低且受限于內存的大小，而且只能根據關系模型數據生成依賴視圖，且需要人工參與分析，無法保證分析的正確性和實效性。

發(fā)明內容

本發(fā)明的主要目的在于提出一種失敗任務的影響及溯源分析方法、裝置、設備及存儲介質，旨在實現(xiàn)自動對失敗任務進行影響及溯源分析，減少人工參與，保證分析的正確性和實效性。

為實現(xiàn)上述目的，本發(fā)明提供一種失敗任務的影響及溯源分析方法，所述方法包括如下步驟：

獲取與當前運行的HQL任務對應的表數據信息和表的生成規(guī)則信息；

根據所述表數據信息在預設的圖形數據庫中創(chuàng)建HQL任務節(jié)點；

根據所述表的生成規(guī)則信息構建不同的HQL任務節(jié)點之間的依賴關系，并構建所述不同HQL任務節(jié)點之間的反向依賴關系，形成HQL血緣圖譜；

當檢測到某一HQL任務失敗時，根據所述HQL血緣圖譜對失敗的HQL任務進行影響及溯源分析。

優(yōu)選地，所述獲取與當前運行的HQL任務對應的表數據信息和表的生成規(guī)則信息的步驟包括：

獲取當前運行的HQL任務的運行日志，從所述運行日志中讀取與所述當前運行的HQL任務對應的表數據信息和表的生成規(guī)則信息。

優(yōu)選地，所述根據所述表數據信息在預設的圖形數據庫中創(chuàng)建HQL任務節(jié)點的步驟包括：

獲取所述表數據信息中的表名；

在預設的圖形數據庫中創(chuàng)建與所述表名對應的HQL任務節(jié)點。

優(yōu)選地，所述當檢測到某一HQL任務失敗時，根據所述HQL血緣圖譜對失敗的HQL任務進行影響及溯源分析的步驟包括：

當檢測到某一HQL任務失敗時，在所述HQL血緣圖譜中定位失敗的HQL任務的任務節(jié)點，并查詢所有與失敗的HQL任務的任務節(jié)點存在依賴關系和反向依賴關系的任務節(jié)點，得到查詢結果；

根據所述查詢結果對失敗的HQL任務進行影響及溯源分析。

優(yōu)選地，所述根據所述查詢結果對失敗的HQL任務進行影響及溯源分析的步驟之后，還包括：

當接收到修復指令時，根據所述修復指令對所述查詢結果中的任務節(jié)點對應的HQL任務進行批量重啟。