[發明專利]數據處理方法和數據處理系統

在審

• 申請號: 202110455987.6
• 申請日: 2021-04-26
• 公開（公告）號: CN113010616A
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 林昕光
• 申請（專利權）人: 廣州小鵬汽車科技有限公司
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06F16/27
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 邵泳城

本發明公開了一種數據處理方法和數據處理系統，數據處理系統包括數據平臺和與數據平臺通信連接的應用系統，數據處理方法包括：獲取應用系統的元數據表，元數據表包括應用元數據信息；根據應用元數據信息、數據平臺中存儲的元數據信息和執行日志，獲取多個節點信息和對應多個節點信息的多個屬性信息；根據數據平臺和應用系統獲取節點關系信息，節點關系信息用于表示多個節點信息之間的映射關系；根據多個節點信息、多個屬性信息和節點關系信息，建立圖數據庫。上述數據處理方法，可通過圖數據庫將數據平臺和應用系統中的節點信息和與其相關的其它任一節點信息建立聯系，從而可直接查詢到所有相關的其它節點信息和屬性信息。

技術領域

本發明涉及數據庫技術領域，特別涉及一種數據處理方法和數據處理系統。

背景技術

傳統的血緣存儲方式為父/子關系兩列的二維結構，這種結構難以遍歷整個鏈路，往往需要使用遞歸算法，掃描效率低且容易具有內存溢出、不可控、寫法復雜的問題。而且，對于業務系統、數據平臺、報表平臺等，其各自有一套存儲元數據的系統，彼此之間相互割裂，在其中一個出現故障的情況下，就需要進行手工梳理，容易導致工作量大、更新不及時、容易疏漏等問題，且無法直觀表現其它系統或平臺受到的影響。

發明內容

本發明的實施方式提供了一種數據處理方法和數據處理系統。

本發明實施方式提供一種數據處理方法，用于數據處理系統，所述數據處理系統包括數據平臺和與所述數據平臺通信連接的應用系統，所述數據處理方法包括：獲取所述應用系統的元數據表，所述元數據表包括應用元數據信息；根據所述應用元數據信息、所述數據平臺中存儲的元數據信息和執行日志，獲取多個節點信息和對應所述多個節點信息的多個屬性信息；根據所述數據平臺和所述應用系統獲取節點關系信息，所述節點關系信息用于表示多個所述節點信息之間的映射關系；根據所述多個節點信息、所述多個屬性信息和所述節點關系信息，建立圖數據庫。

上述數據處理方法中，在建立圖數據庫的情況下，可將數據平臺和應用系統中的節點信息和與其相關的其它任一節點信息建立聯系，從而可使得圖數據庫根據確定的節點信息直接查詢到所有相關的其它節點信息和屬性信息，查詢速度快，且能夠確保不會遺漏信息。

在某些實施方式中，獲取所述應用系統的元數據表，包括：以預設周期將所述應用系統的元數據表同步至所述數據平臺。

在某些實施方式中，所述應用系統包括報表和數據集，所述數據集用于表示多個所述應用元數據信息之間的映射關系，所述節點關系信息包括第一節點鏈路信息，根據所述數據平臺和所述應用系統獲取節點關系信息，包括：所述應用系統根據所述報表和所述數據集，生成報表面板；所述應用系統根據所述報表面板和所述報表，生成包含關系；所述應用系統根據所述數據集獲取輸入表，根據所述輸入表和所述報表面板生成應用節點關系；所述應用系統根據所述包含關系和所述應用節點關系，生成所述第一節點鏈路信息。

在某些實施方式中，所述節點關系信息包括第二節點鏈路信息，根據所述數據平臺和所述應用系統獲取節點關系信息，包括：所述數據平臺根據所述執行日志獲取映射列表，根據所述映射列表生成所述第二節點鏈路信息。

在某些實施方式中，所述節點信息包括表節點和對應的日期信息，所述數據平臺根據所述執行日志獲取映射列表，根據所述映射列表生成所述第二節點鏈路信息，包括：在檢測到所述表節點被更新的情況下，將對應的所述日期信息更新為所述表節點更新時的日期。

在某些實施方式中，所述數據平臺根據所述執行日志獲取映射列表，根據所述映射列表生成所述第二節點鏈路信息，包括：對所述執行日志進行語句解析，得到待處理語句；在檢測到所述待處理語句中的關鍵詞的情況下，根據所述關鍵詞對所述待處理語句進行處理，得到所述映射列表。