[發明專利]數據處理方法、電子設備及存儲介質

有效

• 申請號: 202110671384.X
• 申請日: 2021-06-17
• 公開（公告）號: CN113326063B
• 公開（公告）日: 2023-03-03
• 發明（設計）人: 鄒宇;趙學亮;曾廣銳
• 申請（專利權）人: 深圳前海微眾銀行股份有限公司
• 主分類號: G06F8/74
• 分類號: G06F8/74
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 劉暉銘;張穎玲

本發明公開了一種數據處理方法、電子設備及存儲介質，數據處理方法包括：從接收到的至少兩個任務腳本中每個任務腳本的源碼中，提取出每個任務腳本對應的采用結構化查詢語言描述的第一文本；從提取的每個第一文本對應的抽象語法樹中，確定出每個任務腳本對應的輸入項和輸出項；基于第一任務腳本對應的輸入項與至少一個第二任務腳本中每個第二任務腳本對應的輸出項之間的交集，確定出所述第一任務腳本對應的鄰接關系集合；基于確定出的每個所述第一任務腳本對應的鄰接關系集合，確定出所述至少兩個任務腳本對應的至少一個有向邊集合，并輸出所述至少一個有向邊集合中每個有向邊集合對應的有向無環圖。

技術領域

本發明涉及計算機技術領域，尤其涉及一種數據處理方法、電子設備及存儲介質。

背景技術

隨著計算機技術的發展，越來越多的技術(例如，大數據等)應用在金融領域，傳統金融業正在逐步向金融科技轉變，然而，由于金融行業的安全性、實時性要求，金融科技也對技術提出了更高的要求。金融科技領域下，在大數據平臺對應的服務器處理批量任務的應用場景下，終端將任務和任務對應的配置文件發送至服務器，配置文件用于指定任務之間的依賴關系，以便服務器基于接收到的配置文件，確定出批量任務中各任務的執行順序。然而，相關技術中，需要人工設置每個任務對應的配置文件，不僅效率低，且容易出錯，可能導致服務器確定出的批量任務的執行順序不正確。

發明內容

有鑒于此，本發明實施例提供一種數據處理方法、電子設備及存儲介質，以解決相關技術中人工設置每個任務對應的配置文件中包括的任務間的依賴關系，效率低且易出錯的技術問題。

為達到上述目的，本發明的技術方案是這樣實現的：

本發明實施例提供了一種數據處理方法，包括：

從接收到的至少兩個任務腳本中每個任務腳本的源碼中，提取出每個任務腳本對應的采用結構化查詢語言描述的第一文本；

從提取的每個第一文本對應的抽象語法樹中，確定出每個任務腳本對應的輸入項和輸出項；

將每個任務腳本的腳本標識、對應的輸入項集合和輸出項集合，關聯寫入第一數據表；

基于所述第一數據表中第一任務腳本對應的輸入項集合與第二任務腳本對應的輸出項集合之間的交集，確定出所述第一任務腳本對應的鄰接關系；

將所述第一任務腳本的腳本標識和對應確定出的鄰接關系，關聯寫入第二數據表；其中，所述第二數據表用于關聯存儲腳本標識和鄰接關系集合；

基于確定出的每個所述第一任務腳本對應的鄰接關系集合，確定出所述至少兩個任務腳本對應的至少一個有向邊集合，并輸出所述至少一個有向邊集合中每個有向邊集合對應的有向無環圖；其中，

所述第一任務腳本和所述第二任務腳本為所述至少兩個任務腳本中不同的任務腳本；鄰接關系集合中的鄰接關系表征第一任務腳本的鄰接依賴任務和對應的交集；所述有向邊集合中的有向邊表征每兩個任務腳本之間的依賴關系；

其中，所述第一數據表還包括表征變更輸入項集合的第一時間和表征變更輸出項集合的第二時間；所述第二數據表還包括表征變更鄰接關系的第三時間和表征變更鄰接依賴任務的第四時間，所述方法還包括以下至少之一：

在第一任務腳本的源碼發生變更的情況下，更新所述第一數據表中第一任務腳本對應的輸入項集合、輸出項集合、第一時間和第二時間中的至少一組；

在第一任務腳本對應的第三時間早于對應的第一時間的情況下，基于對應更新后的輸入項集合和除第一任務腳本之外的任務腳本對應的輸出項集合之間的交集，更新所述第二數據表中第一任務腳本對應的鄰接關系集合和第四時間中的至少之一；其中，第四時間在對應更新后的鄰接關系集合中的鄰接依賴任務發生變更的情況下更新；