[發(fā)明專利]基于數(shù)據(jù)血緣分析的數(shù)據(jù)治理方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202110187130.0
• 申請日: 2021-02-18
• 公開（公告）號: CN112800149B
• 公開（公告）日: 2023-08-08
• 發(fā)明（設計）人: 王澤宇;宋海濤;尹曦萌;于春蕾;張正奇
• 申請（專利權）人: 浪潮云信息技術股份公司
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06F16/215;G06F16/26
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 孫園園

1.一種基于數(shù)據(jù)血緣分析的數(shù)據(jù)治理方法，其特征在于，該方法是通過分析數(shù)據(jù)血緣關系，構建數(shù)據(jù)家族關系網(wǎng)狀圖譜，對網(wǎng)狀圖譜中各節(jié)點數(shù)據(jù)相互印證擴充，從而幫助數(shù)據(jù)治理人員完成對數(shù)據(jù)進行溯源、驗證、補充及規(guī)范，提高數(shù)據(jù)治理效能；具體如下：

對大數(shù)據(jù)進行調(diào)度和儲存；具體如下：

對相關性數(shù)據(jù)資源通過NIFI的數(shù)據(jù)調(diào)度程序調(diào)度到HBASE的數(shù)據(jù)庫中；

在調(diào)度過程中，對字段名稱進行標準化處理，對重點字段進行數(shù)據(jù)清洗，方便血緣分析；

對數(shù)據(jù)進行血緣分析形成數(shù)據(jù)家族圖譜；具體如下：

通過數(shù)據(jù)特征找尋最基礎數(shù)據(jù)資源，作為信息主節(jié)點，通過信息主節(jié)點找尋其數(shù)據(jù)流出節(jié)點作為子節(jié)點；其中，在找尋父子節(jié)點時，在信息主節(jié)點中標識重要字段信息；

找尋子節(jié)點的數(shù)據(jù)流入節(jié)點及數(shù)據(jù)流出節(jié)點，相互關聯(lián)后形成家族數(shù)據(jù)網(wǎng)格；

以圓圈標識基礎節(jié)點、流入節(jié)點及流出節(jié)點，以帶箭頭的線段標識數(shù)據(jù)流入和數(shù)據(jù)流出，以基礎節(jié)點為主節(jié)點開始進行數(shù)據(jù)血緣分析；

在數(shù)據(jù)血緣分析過程中，在圓圈中重點標識表名稱及表重點字段，在連接線上標識清楚表之間的關聯(lián)字段，依次連接各個數(shù)據(jù)流入節(jié)點及流出節(jié)點，形成數(shù)據(jù)家族圖譜；

通過算法模型構建數(shù)據(jù)圖譜；具體如下：

將數(shù)據(jù)表抽象為對象，將數(shù)據(jù)表中字段抽象為對象屬性，將數(shù)據(jù)表與表關系抽象為對象關系，以對象、屬性及關系為要素建立統(tǒng)一的本體數(shù)據(jù)模型，建立從物理表到本體數(shù)據(jù)模型映射；

通過算法模型分析數(shù)據(jù)家族數(shù)據(jù)表關系形成數(shù)據(jù)圖譜，提取價值數(shù)據(jù)信息；

數(shù)據(jù)家族圖譜包括如下要素：

①主節(jié)點：主節(jié)點只有一個，位于整個圖譜的中間，是可視化圖形的核心節(jié)點；圖譜展示的血緣關系就是該主節(jié)點的血緣關系；

②數(shù)據(jù)流入節(jié)點：數(shù)據(jù)流入節(jié)點有一個或多個，數(shù)據(jù)流入節(jié)點是主節(jié)點的父節(jié)點，表示數(shù)據(jù)來源；

③數(shù)據(jù)流出節(jié)點：數(shù)據(jù)流出節(jié)點有一個或多個，數(shù)據(jù)流出節(jié)點是主節(jié)點的子節(jié)點，表示數(shù)據(jù)的去向；數(shù)據(jù)流出節(jié)點還包括終端節(jié)點，終端節(jié)點表示數(shù)據(jù)不再往下進行流轉；

④數(shù)據(jù)流轉線路：是指數(shù)據(jù)的流轉路徑，從左到右流轉；數(shù)據(jù)流轉線路從數(shù)據(jù)流入節(jié)點出來往主節(jié)點匯聚，又從主節(jié)點流出往數(shù)據(jù)流出節(jié)點擴散；

血緣分析方法如下：

①靜態(tài)分析法：基于編譯原理，通過對源代碼進行掃描和語法分析以及對程序邏輯涉及的路徑進行靜態(tài)分析和羅列，實現(xiàn)對數(shù)據(jù)流轉的客觀反映；

②接觸感染式分析法：通過對數(shù)據(jù)傳輸和映射相關的程序命令進行篩選，獲取關鍵信息，進行深度分析；

③邏輯時序性分析法：根據(jù)程序處理流程，將與數(shù)據(jù)庫、文件及通信接口數(shù)據(jù)字段無直接關系的傳遞和映射的間接過程和程序中間變量，轉換為數(shù)據(jù)庫、文件及通信接口數(shù)據(jù)字段之間的直接傳遞和映射。

2.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質中存儲有計算機執(zhí)行指令，當處理器執(zhí)行所述計算機執(zhí)行時，實現(xiàn)如權利要求1所述的基于數(shù)據(jù)血緣分析的數(shù)據(jù)治理方法。