[發明專利]一種大數據平臺工作流正確性的校驗方法及系統

有效

• 申請號: 202010908992.3
• 申請日: 2020-09-02
• 公開（公告）號: CN112035367B
• 公開（公告）日: 2023-08-18
• 發明（設計）人: 于東東;于斂青;邢利菲
• 申請（專利權）人: 中國銀行股份有限公司
• 主分類號: G06F11/36
• 分類號: G06F11/36
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 谷敬麗;周曉飛

本發明提出了一種大數據平臺工作流正確性的校驗方法及系統，該方法包括：獲取工作流XML代碼文件，提取工作流的調度信息及參數信息；根據所述工作流的調度信息及參數信息生成第一工作流文件；獲取調度腳本代碼，提取腳本依賴的數據表；根據所述數據表生成第二工作流文件；通過比對第一工作流文件、第二工作流文件與工作流配置文件之間的差異，判斷工作流文件的正確性，生成工作流正確性校驗結果；本發明分別通過已經開發的工作流XML代碼、開發人員開發的調度腳本兩個維度，自動校驗工作流配置的正確性，提前發現工作流配置的問題，保證工作流配置符合代碼邏輯，防止人為失誤造成的不良影響，對批量正常運行提供了有力的保障。

技術領域

本發明涉及大數據處理技術領域，尤指一種大數據平臺工作流正確性的校驗方法及系統。

背景技術

目前，現有的大數據套件工作流開發功能僅支持在可視化頁面上手工拖拽開發，不具備批量開發工作流功能。大部分代碼(hive?sql、shell等)前置依賴是平臺中各數據表。在實際開發過程中一般采用開發人員通過填寫文檔申請工作流，填寫工作流名稱、步驟、前置依賴表名及腳本名稱等內容。

在現有的大數據平臺調度系統中，該系統會根據各租戶工作流配置自動觸發工作流中任務執行，執行過程一般是先檢查代碼中使用的數據文件是否已經存在，然后執行工作流中各任務步驟的腳本(hive?sql、shell等)。實際工程活動中，開發人員申請工作流配置文件(Request)，工作流負責人統一開發工作流的方式實施。但是，開發人員常因修改代碼或者其他原因錯誤填寫申請表，導致開發人員申請工作流配置中常遺漏或者錯誤填寫各任務實例依賴的前置(數據表分區)、數據表名等，進而導致批量運行過程中因數據不存在或者填寫錯誤而批量異常。工作流負責人依據申請單工作流配置文件開發工作流時，會繼承開發人員的錯誤，并且，開發人員在開發工作流時自身也會出現數據表名稱填寫錯誤、缺失數據表依賴等情況，進而導致批量錯誤。工作流配置錯誤可能會導致數據加工錯誤，進而影響正常功能使用，對銀行正常業務功能開展造成不良影響。

綜上來看，在現有大數據套件中，工作流采用類似流程圖的方式進行各配置項設置，由于界面不便利，人為配置工作流常存在疏忽、遺漏，不能完整體現工作流任務的完整性、正確性，可能導致批量錯誤及其他重要的影響。

因此，亟需一種可以克服上述問題，避免大數據平臺因人為工作流配置錯誤導致批量異常影響的技術方案。

發明內容

為解決現有技術存在的問題，本發明提出了一種大數據平臺工作流正確性的校驗方法及系統，該方法及系統能夠自動生成工作流中各任務依賴的前置，自動核對開發人員申請的工作流與工作流負責人開發的工作流XML代碼的正確性，使多個維度工作流配置結構正確，為開發人員提供自動代碼復查機制，并且避免大數據平臺批量時出現異常情況，保證銀行系統運行的穩定性。

在本發明實施例的第一方面，提出了一種大數據平臺工作流正確性的校驗方法，該方法包括：

獲取工作流XML代碼文件，提取工作流的調度信息及參數信息；

根據所述工作流的調度信息及參數信息生成第一工作流文件；

獲取調度腳本代碼，提取腳本依賴的數據表；

根據所述數據表生成第二工作流文件；

通過比對第一工作流文件、第二工作流文件與工作流配置文件之間的差異，判斷工作流文件的正確性，生成工作流正確性校驗結果。

進一步的，獲取工作流XML代碼文件，提取工作流的調度信息及參數信息，包括：

獲取工作流XML代碼文件，讀取工作流信息集合；

判斷所述工作流信息集合中是否有未處理的工作流，若有未處理的工作流，讀取工作流的調度信息及參數信息。