[發明專利]一種生成FlinkSQL字段血緣的方法及系統

在審

• 申請號: 202111603842.2
• 申請日: 2021-12-24
• 公開（公告）號: CN114238416A
• 公開（公告）日: 2022-03-25
• 發明（設計）人: 譚巍;陳衛;田浩兵;張奎;翟恩榮
• 申請（專利權）人: 四川新網銀行股份有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F16/28
• 代理公司: 成都行之專利代理事務所(普通合伙) 51220
• 代理人: 胡曉麗

本發明公開了一種生成FlinkSQL字段血緣的方法及系統，首先獲取完整的SQL語句，通過解析SQL語句，自定義針對Flink SQL的DDL和DML解析過程，獲得庫名，表名和字段名；然后根據得到的包含SQL中全部表的ListTable數組，通過順序遍歷該數組，就可以得到字段間血緣關系，最后通過對最終字段結果的展示，按照分層字段展示的方式，獲得FlinkSQL字段血緣。通過本發明公開了一種生成FlinkSQL字段血緣的方法及系統，可以便捷地對表做出影響性范圍分析，實現任務依賴的自動拉起和針對敏感數據的字段級別的脫敏。

技術領域

本發明涉及數據處理技術領域，具體而言，涉及一種生成FlinkSQL字段血緣的方法及系統。

背景技術

在大數據技術中，實時數據倉庫技術在企業里面得到了廣泛應用，各大企業機構都建立或探索符合自己業務場景下的實時數據倉庫。隨著對實時的要求性越來越高，Apache Flink越來越成為很多企業建設實時數據倉庫的首選；其中針對Flink SQL的使用越來越多。因此針對基于Flink SQL產生的元數據管理就變得越來越重要，特別是字段級別的血緣關系,清晰明了知道源表字段對應的最終目標表字段。通過字段級別的血緣關系，可以便捷對表做出影響性范圍分析，可以實現任務依賴的自動拉起和實現針對敏感數據的字段級別的脫敏。

目前，針對基于Flink SQL產生的元數據的管理方法不能生成Flink SQL字段血緣。

有鑒于此，特提出本申請。

發明內容

本發明所要解決的技術問題是：目前，針對基于Flink SQL產生的元數據的管理方法不能生成Flink SQL字段血緣，目的在于提供一種生成FlinkSQL字段血緣的方法及系統，通過自定義針對Flink SQL的DDL和DML解析過程，解析SQL語句獲得庫名，表名和字段名，生成包含SQL中所有表的數組，然后對順序遍歷數組得到字段間的關系，最后以展示字段間關系的方式獲得Flink SQL字段血緣。

本發明通過下述技術方案實現：

一方面，本發明提供一種生成FlinkSQL字段血緣的方法，包括以下步驟：

S1：定義鏈表數組和過濾選擇字段數組；

S2：解析SQL語句，得到多個列名、多個過濾條件列名和多個表名；

S3：針對每一個列名，將列名和列名與表名的映射關系存入一個鏈表數組，多個列名對應多個鏈表數組；

S4：針對每一個過濾條件列名，將過濾條件列名和過濾條件列名與表名的映射關系存入一個過濾選擇字段數組，多個過濾條件列名對應多個過濾選擇字段數組；

S5：定義全局鏈表數組和全局過濾選擇字段數組；

S6：對每一個鏈表數組的多個鏈表數據求解，得到列名與表名的映射關系，更新所述全局鏈表數組；

S7：對每一個過濾選擇字段數組進行處理，得到過濾條件列名與表名的映射關系，更新所述全局過濾選擇字段數組；

S8：將更新后的全局鏈表數組和全局過濾選擇字段數組進行合并后求差；

S9：對求差后得到數據進行展示，根據展示結果獲得FlinkSQL字段血緣。

本發明針對Flink SQL中列名、表名的特有數據結構和存儲方式，自定義針對Flink SQL的DDL和DML解析過程，解析SQL語句獲得庫名，表名和字段名，通過自定義數據結構可以很容易地得到字段級別的血緣關系，從而實現底層源表字段和最終目標表字段間的依賴關系；其次，針對列字段和過濾選擇字段分別采用向上遞歸合并算法和反向廣度優先的方法進行處理，得到最終的字段級別血緣結果；最后針對字段間的分層影響關系,過濾字段不直接影響最終字段。更加有利于描述字段間的血緣關系。