[發明專利]一種大數據端到端的數據對賬編排方法在審

申請號：	202011245884.9	申請日：	2020-11-10
公開（公告）號：	CN112380199A	公開（公告）日：	2021-02-19
發明（設計）人：	龔波;蘇學武;水軍;楊剛;蘇文輝	申請（專利權）人：	珠海市新德匯信息技術有限公司
主分類號：	G06F16/215	分類號：	G06F16/215;G06F16/23;G06F16/26
代理公司：	暫無信息	代理人：	暫無信息
地址：	519000 廣東省珠***	國省代碼：	廣東;44
權利要求書：	查看更多	說明書：	查看更多
摘要：
搜索關鍵詞：	一種數據端到端編排方法
鉆瓜網技術展會專利詞庫專利權人專利榜在售專利公布日期熱門專利

【說明書】：

本發明公開了一種大數據端到端的數據對賬編排方法，包括以下步驟：S1、動態編排數據核對流程；S2、可視化展現數據核對明細：提供界面，以可視化方式展示數據的流向，并以定性+定量方式標注數據核對結果；S3、以定性或定量方式設置數據核對的預期結果，并預編排相應的后處理操作。本發明通過動態編排數據核對流程，可有效提高整個系統的彈性和靈活性，快速響應客戶對不同場景的數據核對需求；同時通過可視化的展現方式，端到端展示整體的定性或定量分析結果，有助于快速準確地跟蹤和解決數據傳輸過程中出現的問題；提供后處理預編排能力，提升數據處理自動化水平。

技術領域

本發明涉及大數據處理技術領域，更具體涉及一種大數據端到端的數據對賬編排方法。

背景技術

大數據系統從所接入的數據源匯集海量數據，進行數據清洗和加工等處理后，形成有價值的業務數據。在這個過程中，為確保數據的完整性，相應的數據治理方案常常會提供數據對賬的功能，即對提供方和接收方的數據進行核對和校驗，以提升數據匯聚質量和利用價值。

目前市場上現有的數據對賬方法，主要針對數據接入部分的原始數據對賬，存在如下不足：

1)不能根據需求動態編排各個環節的數據核對流程，無法滿足客戶對不同場景的數據核對需求；2)不能端到端可視化展現各流程的數據核對明細，導致無法及時發現數據傳輸過程中出現的問題；3)不能設置數據核對預期，無法預編排相應的后處理操作。

發明內容

本發明需要解決的技術問題是提供一種大數據端到端的數據對賬編排方法，以解決現有的數據對賬方法不能根據需求動態編排各個環節的數據核對流程、不能端到端可視化展現各流程的數據核對明細及不能設置數據核對預期的問題，以使得數據對賬能夠動態編排數據核對流程，快速響應客戶對不同場景的數據核對需求，以實現端到端展示整體的定性或定量分析結果，有助于快速準確地跟蹤和解決數據傳輸過程中出現的問題，以提供后處理預編排能力。

為解決上述技術問題，本發明所采取的技術方案如下。

一種大數據端到端的數據對賬編排方法，包括以下步驟：

S1、動態編排數據核對流程：基于可視化流程編排平臺，定義數據的接入、處理和分發流程，在相應流程中根據需求，動態通用或擴展的數據核對流程；

S2、可視化展現數據核對明細：提供界面，以可視化方式展示數據的流向，并以定性+定量方式標注數據核對結果；

S3、以定性或定量方式設置數據核對的預期結果，并預編排相應的后處理操作。

進一步優化技術方案，所述步驟S1包括以下步驟：

S11、實現一個可視化的數據治理流程編排平臺，支持設計態與運行態分離；

S12、可視化流程編排平臺定義可視化組件規范，支持按照可視化組件規范開發可納入界面編排的組件；并在系統中預置一批具備接入、處理、分發、核對和后處理能力的組件；

S13、組件之間存在數據的輸入與輸出，通過核對組件對數據進行關聯；

S14、通過在界面拖拽組件，設置組件參數，組裝起整套數據治理及數據核對流程；

S15、步驟S14設計完成后，發布到運行態，然后系統開始運行，自動完成整套數據治理流程。

進一步優化技術方案，所述可視化組件規范包括：定義輸入、輸出、運行頻率、是否支持多實例。