[發(fā)明專利]數(shù)據(jù)血緣分析方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010901517.3
• 申請(qǐng)日: 2020-08-31
• 公開（公告）號(hào): CN112035416A
• 公開（公告）日: 2020-12-04
• 發(fā)明（設(shè)計(jì)）人: 余芳;卓呈祥
• 申請(qǐng)（專利權(quán)）人: 北京嘀嘀無限科技發(fā)展有限公司
• 主分類號(hào): G06F16/17
• 分類號(hào): G06F16/17;G06F40/253
• 代理公司: 北京超成律師事務(wù)所 11646
• 代理人: 裴素英

1.一種數(shù)據(jù)血緣分析方法，其特征在于，包括：

獲取待分析大寬表和所述待分析大寬表的生成日志，其中，所述待分析大寬表包括多個(gè)目標(biāo)字段；

通過預(yù)設(shè)語法生成器對(duì)所述待分析大寬表的生成日志進(jìn)行語法分析，獲取所述待分析大寬表對(duì)應(yīng)的日志分析數(shù)據(jù)；

根據(jù)所述待分析大寬表中的目標(biāo)字段和所述日志分析數(shù)據(jù)，獲取所述待分析大寬表的血緣分析數(shù)據(jù)，所述血緣分析數(shù)據(jù)包括所述目標(biāo)字段的上游表和上游字段。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述待分析大寬表的生成日志為HIVE日志，所述預(yù)設(shè)語法生成器為ANTLR語法分析器；

所述通過預(yù)設(shè)語法生成器對(duì)所述待分析大寬表的生成日志進(jìn)行語法分析，獲取所述待分析大寬表對(duì)應(yīng)的日志分析數(shù)據(jù)，包括：

通過所述ANTLR語法分析器對(duì)所述待分析大寬表的HIVE日志進(jìn)行語法分析，獲取所述待分析大寬表對(duì)應(yīng)的日志分析語法樹，所述日志分析語法樹包括多棵字段語法分析樹。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述通過所述ANTLR語法分析器對(duì)所述待分析大寬表的HIVE日志進(jìn)行語法分析，獲取所述待分析大寬表對(duì)應(yīng)的日志分析語法樹，包括：

通過所述ANTLR語法分析器解析所述HIVE日志中的每條日志語句，獲取解析結(jié)果；

根據(jù)所述解析結(jié)果，獲取所述待分析大寬表對(duì)應(yīng)的日志分析語法樹。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述根據(jù)所述解析結(jié)果，獲取所述待分析大寬表對(duì)應(yīng)的日志分析語法樹，包括：

根據(jù)所述解析結(jié)果，獲取每條所述日志語句中的字段以及所述字段的上游表和上游字段；

根據(jù)每條所述日志語句中的字段以及所述字段的上游表和上游字段，構(gòu)建所述待分析大寬表對(duì)應(yīng)的日志分析語法樹。

5.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述待分析大寬表中的目標(biāo)字段和所述日志分析數(shù)據(jù)，獲取所述待分析大寬表的血緣分析數(shù)據(jù)，包括：

根據(jù)所述日志分析語法樹，獲取每個(gè)所述字段語法分析樹對(duì)應(yīng)的節(jié)點(diǎn)集合，所述節(jié)點(diǎn)集合包括：所述字段語法分析樹的所有節(jié)點(diǎn)名稱；

根據(jù)所述待分析大寬表中的目標(biāo)字段，遍歷每個(gè)所述字段語法分析樹，根據(jù)所述字段語法分析樹對(duì)應(yīng)的節(jié)點(diǎn)集合，獲取所述待分析大寬表中所述目標(biāo)字段的上游表和上游字段。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述獲取所述待分析大寬表的血緣分析數(shù)據(jù)之后，還包括：

將所述待分析大寬表中所述目標(biāo)字段的上游表和上游字段記錄到預(yù)設(shè)數(shù)據(jù)庫中。

7.根據(jù)權(quán)利要求1-6任一項(xiàng)所述的方法，其特征在于，所述上游表包括：表名；所述上游字段包括：所屬上游表的表名、在所述上游表中的字段名。

8.根據(jù)權(quán)利要求1-6任一項(xiàng)所述的方法，其特征在于，所述大寬表為服務(wù)請(qǐng)求方大寬表，所述服務(wù)請(qǐng)求方大寬表包括多個(gè)服務(wù)請(qǐng)求方字段。

9.一種數(shù)據(jù)血緣分析裝置，其特征在于，包括：第一獲取模塊、分析模塊及第二獲取模塊；

所述第一獲取模塊，用于獲取待分析大寬表和所述待分析大寬表的生成日志，其中，所述待分析大寬表包括多個(gè)目標(biāo)字段；

所述分析模塊，用于通過預(yù)設(shè)語法生成器對(duì)所述待分析大寬表的生成日志進(jìn)行語法分析，獲取所述待分析大寬表對(duì)應(yīng)的日志分析數(shù)據(jù)；

所述第二獲取模塊，用于根據(jù)所述待分析大寬表中的目標(biāo)字段和所述日志分析數(shù)據(jù)，獲取所述待分析大寬表的血緣分析數(shù)據(jù)，所述血緣分析數(shù)據(jù)包括所述目標(biāo)字段的上游表和上游字段。

10.一種電子設(shè)備，其特征在于，包括：處理器、存儲(chǔ)介質(zhì)和總線，所述存儲(chǔ)介質(zhì)存儲(chǔ)有所述處理器可執(zhí)行的機(jī)器可讀指令，當(dāng)電子設(shè)備運(yùn)行時(shí)，所述處理器與所述存儲(chǔ)介質(zhì)之間通過總線通信，所述處理器執(zhí)行所述機(jī)器可讀指令，以執(zhí)行如權(quán)利要求1-8任一項(xiàng)所述數(shù)據(jù)血緣分析方法的步驟。

11.一種存儲(chǔ)介質(zhì)，其特征在于，所述存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器運(yùn)行時(shí)執(zhí)行如權(quán)利要求1-8任一項(xiàng)所述數(shù)據(jù)血緣分析方法的步驟。