[發明專利]數據血緣關系分析方法、裝置、電子設備及存儲介質

在審

• 申請號: 202210760713.2
• 申請日: 2022-06-29
• 公開（公告）號: CN115129753A
• 公開（公告）日: 2022-09-30
• 發明（設計）人: 張巍
• 申請（專利權）人: 平安銀行股份有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F16/242;G06F9/54;G06F16/901
• 代理公司: 深圳市沃德知識產權代理事務所(普通合伙) 44347
• 代理人: 高杰;于志光

本發明涉及數據分析領域，揭露一種數據血緣關系分析方法，包括：從業務系統獲取用戶輸入數據查詢請求對應的業務數據，解析業務數據中字段之間的字段血緣關系，將業務數據保存至消息隊列后加載至本地磁盤，在本地磁盤觸發異步線程，以通過異步線程運行業務數據，解析業務數據在異步線程運行過程中字段之間的字段繼承關系；根據字段血緣關系和字段繼承關系，構建業務數據的字段關聯文件，在字段關聯文件中標記字段之間的標識屬性；根據字段關聯文件和標識屬性，將業務數據中的數據存入圖數據庫中，以獲取業務數據中數據之間的數據血緣關系。此外，本發明還涉及區塊鏈技術，所述字段關聯文件可存儲區塊鏈。本發明可以提高數據血緣關系分析的效率。

技術領域

本發明涉及數據分析領域，尤其涉及一種數據血緣關系分析方法、裝置、電子設備及計算機可讀存儲介質。

背景技術

數據治理已經進入智能化的時代，對于數據的精準追蹤溯源可以有效的提升大數據系統中數據問題的定位同時提高數據質量，傳統數據血緣關系的分析方法通常是開發人員根據開發平臺中任務的腳本人工的去分析SQL找出數據的血緣關系，但是通過這樣的方法需要開發人員對開發平臺中任務的腳本進行逐一分析，導致需要耗費大量的開發人員時間和精力，從而影響數據血緣關系分析的效率。

發明內容

本發明提供一種數據血緣關系分析方法、裝置、電子設備及計算機可讀存儲介質，其主要目的在于提高數據血緣關系分析的效率。

為實現上述目的，本發明提供的一種數據血緣關系分析方法，包括：

接收用戶輸入的數據查詢請求，根據所述數據查詢請求，從業務系統中獲取業務數據，利用計算引擎解析所述業務數據中字段之間的字段血緣關系，并將所述業務數據保存至預設的消息隊列中；

將所述消息隊列中的業務數據加載至本地磁盤中，并在所述本地磁盤觸發異步線程，以通過所述異步線程運行所述業務數據，解析所述業務數據在所述異步線程運行過程中字段之間的字段繼承關系；

根據所述字段血緣關系和所述字段繼承關系，構建所述業務數據的字段關聯文件，并在所述字段關聯文件中標記字段之間的標識屬性；

根據所述字段關聯文件和所述標識屬性，將所述業務數據中的數據存入圖數據庫中，以獲取所述業務數據中數據之間的數據血緣關系。

可選地，所述根據所述數據查詢請求，從業務系統中獲取業務數據，包括：

識別所述數據查詢請求的查詢對象和查詢字段；

根據所述查詢對象和所述查詢字段，將所述數據查詢請求轉換為查詢語句；

根據所述查詢語句，向所述業務系統的后臺數據庫查詢業務數據。

可選地，所述利用計算引擎解析所述業務數據中字段之間的字段血緣關系，包括：

利用所述計算引擎中的鉤子函數捕獲所述業務數據在查詢過程中輸入字段與輸出字段的對應關系；

根據所述對應關系，利用所述計算引擎中的決策算法構建所述輸入字段與輸出字段的決策樹；

利用深度遍歷算法計算所述決策樹中任意兩個字段的節點路徑；

根據所述節點路徑，確定其對應字段的關聯關系，并將所述關聯關系作為所述業務數據中字段之間的字段血緣關系。

可選地，所述將所述消息隊列中的業務數據加載至本地磁盤中，包括：

對所述消息隊列中的業務數據進行序列化，得到序列化數據；

采用先進先出的順序將所述序列化數據傳輸至本地磁盤中。

可選地，所述解析所述業務數據在所述異步線程運行過程中字段之間的字段繼承關系，包括：