[發明專利]一種數據鏈路查詢方法及裝置

有效

• 申請號: 202011637254.6
• 申請日: 2020-12-31
• 公開（公告）號: CN112632133B
• 公開（公告）日: 2023-10-10
• 發明（設計）人: 常青;馮建
• 申請（專利權）人: 中國農業銀行股份有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F16/22;G06F9/445
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 郭化雨

本發明提供一種數據鏈路查詢方法及裝置，包括：獲取N層信息，N為大于1的正整數，每一層信息的數量為多個；根據同一層信息之間的第一對應關系以及不同層信息之間的第二對應關系，將N層信息拼接在一起，形成數據模型；在數據模型中輸入檢索信息，并從數據模型中查詢檢索信息的數據鏈路信息。這樣，通過同一層信息之間的第一對應關系以及不同層信息之間的第二對應關系將N層信息拼接在一起，形成能夠展示數據信息的全貌的數據模型。而后，在數據模型中能夠獲得檢索信息的上層數據信息以及下層數據信息，從而獲得檢索信息的整個流動關系，全面展示檢索信息的流動關系，為數據開發、分析等提供參考依據。

技術領域

本發明涉及大數據技術領域，特別涉及一種數據鏈路查詢方法及裝置。

背景技術

隨著大數據技術的發展，數據平臺處理數據內容繁多，數據類型多樣，目前缺乏能夠分析和展示數據流動關系全貌的方法，如模型設計時不了解現有的數據覆蓋范圍是否已足夠，數據分析時無法直觀了解數據的加工脈落等，從而給數據開發、分析、運維各個環節帶來一些困難。

發明內容

有鑒于此，本發明的目的在于提供一種數據鏈路查詢方法及裝置，以展示數據流動關系的全貌。

為實現上述目的，本發明有如下技術方案：

一種數據鏈路查詢方法，包括：獲取N層信息，所述N為大于1的正整數，每一層信息的數量為多個；

根據同一層信息之間的第一對應關系以及不同層信息之間的第二對應關系，將所述N層信息拼接在一起，形成數據模型；

在所述數據模型中輸入檢索信息，并從所述數據模型中查詢所述檢索信息的數據鏈路信息。

可選的，所述N為3，所述獲取N層信息，包括：

獲取第一層信息，所述第一層包括數據交換平臺、預處理平臺、大數據平臺主庫以及數據集市；所述數據交換平臺包括第一交換和第二交換；所述預處理平臺包括Hadoop數據、數據加載、創建索引、預處理、輸出索引以及文件生成；所述大數據平臺主庫包括基礎數據層、共性加工層以及接口層；所述數據集市包括：操作數據層、基礎數據層、緩沖層、中間層以及應用層；

將所述第一交換和第二交換，所述Hadoop數據、數據加載、創建索引、預處理、輸出索引、CTL生成，所述基礎數據層、共性加工層以及接口層以及所述操作數據層、基礎數據層、緩沖層、中間層、應用層作為第二層信息；所述第二層信息包括文件和/或作業；

將所述文件和/或作業作為第三層信息。

可選的，所述作業包括：起始作業、任意作業和末尾作業，所述起始作業和所述任意作業具有對應關系，所述末尾作業和所述任意作業具有對應關系；

當所述文件和作業作為第三層信息時，建立所述文件和作業的第一對應關系包括：

建立第一文件和所述起始作業的對應關系以及第二文件和所述末尾作業的對應關系；

所述建立第一文件和所述起始作業的對應關系包括：

從所述第一文件中提取信息，所述信息包括文件系統名、文件表名、省市代碼以及增全量標志；

根據所述省市代碼以及增全量標志驗證配置文件是否匹配；

若匹配，則根據所述配置文件將所述文件系統名轉換為Hadoop系統名，將文件表名轉換為Hadoop表名；

將所述Hadoop系統名以及Hadoop表名拼接形成調度參數；

利用所述調度參數以及Hadoop操作數據層應用、操作數據層節點，確定所述起始作業；

建立第二文件和所述末尾作業的對應關系包括：