[發明專利]基于neo4j大數據血緣關系管理方法、系統、設備及存儲介質

在審

• 申請號: 201811196013.5
• 申請日: 2018-10-15
• 公開（公告）號: CN109446279A
• 公開（公告）日: 2019-03-08
• 發明（設計）人: 鄧燕輝;蔡適擇;姚小龍;曾昭正;唐國凱;張文斌
• 申請（專利權）人: 順豐科技有限公司
• 主分類號: G06F16/28
• 分類號: G06F16/28
• 代理公司: 北京志霖恒遠知識產權代理事務所(普通合伙) 11435
• 代理人: 劉進

1.基于neo4j大數據血緣關系管理方法，其特征是，包括：

解析SQL語句，生成相應的抽象語法樹，對于每個抽象語法樹，深度遍歷該抽象語法樹的每個節點，在每個節點采集相應的節點數據；

將采集的節點數據關系存儲于neo4j圖形數據庫，將采集的必要信息存儲于HBase；

將異構數據源的信息引入血緣關系系統，形成血緣關系。

2.根據權利要求1所述的基于neo4j大數據血緣關系管理方法，其特征是，采用Antlr語法分析工具，進行語法、詞法和語義分析，生成相應的抽象語法樹。

3.根據權利要求1所述的基于neo4j大數據血緣關系管理方法，其特征是，還包括：

針對neo4j建立索引，優化查詢語句。

4.根據權利要求1所述的基于neo4j大數據血緣關系管理方法，其特征是，所述相應的節點數據包括源數據表、目標數據表、源數據表字段和目標數據表字段。

5.根據權利要求1所述的基于neo4j大數據血緣關系管理方法，其特征是，所述的必要信息包括Hive SQL語句及運行Hive SQL的時間。

6.根據權利要求1所述的基于neo4j大數據血緣關系管理方法，其特征是，所述將異構數據源的信息引入血緣關系系統，形成血緣關系，包括：

打通內部的ETL系統和接入分發系統，獲取定位唯一數據源的數據信息并引入血緣關系系統。

7.基于neo4j大數據血緣關系管理系統，其特征是，包括：

語法樹生成單元，配置用于解析SQL語句，生成相應的抽象語法樹，對于每個抽象語法樹，深度遍歷該抽象語法樹的每個節點，在每個節點采集相應的節點數據；

數據存儲單元，配置用于將采集的節點數據關系存儲于neo4j圖形數據庫，將采集的必要信息存儲于HBase；

血緣關系形成單元，配置用于將異構數據源的信息引入血緣關系系統，形成血緣關系。

8.根據權利要求7所述的基于neo4j大數據血緣關系管理系統，其特征是，采用Antlr語法分析工具，進行語法、詞法和語義分析，生成相應的抽象語法樹。

9.根據權利要求7所述的基于neo4j大數據血緣關系管理系統，其特征是，還包括：

索引單元，配置用于針對neo4j建立索引，優化查詢語句。

10.根據權利要求7所述的基于neo4j大數據血緣關系管理系統，其特征是，所述節點數據包括源數據表、目標數據表、源數據表字段和目標數據表字段。

11.根據權利要求7所述的基于neo4j大數據血緣關系管理系統，其特征是，所述的必要信息包括Hive SQL語句及運行Hive SQL的時間。

12.根據權利要求7所述的基于neo4j大數據血緣關系管理系統，其特征是，將異構數據源的信息引入血緣關系系統，形成血緣關系，包括：

數據獲取子單元，配置用于打通內部的ETL系統和接入分發系統，獲取定位唯一數據源的數據信息并引入血緣關系系統。

13.一種設備，其特征是，所述設備包括：

一個或多個處理器；

存儲器，用于存儲一個或多個程序，

當所述一個或多個程序被所述一個或多個處理器執行時，使得所述一個或多個處理器執行如權利要求1-6中任一項所述的方法。

14.一種存儲有計算機程序的計算機可讀存儲介質，其特征是，該程序被處理器執行時實現如權利要求1-6中任一項所述的方法。