[發(fā)明專利]一種訪問記錄提取方法及裝置

在審

• 申請?zhí)枺?/td>: 202010955898.3
• 申請日: 2020-09-11
• 公開（公告）號: CN112084249A
• 公開（公告）日: 2020-12-15
• 發(fā)明（設(shè)計）人: 王泉軍;藍(lán)明洪;黃鋒
• 申請（專利權(quán)）人: 浙江立元科技有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/28
• 代理公司: 北京超凡宏宇專利代理事務(wù)所(特殊普通合伙) 11463
• 代理人: 榮穎佳

本申請?zhí)峁┝艘环N訪問記錄提取方法及裝置，該方法包括：從日志中心獲取訪問日志；所述訪問日志是數(shù)據(jù)倉庫工具HIVE生成的用戶訪問日志；針對每個訪問日志，根據(jù)目標(biāo)關(guān)鍵字，查詢所述目標(biāo)關(guān)鍵字對應(yīng)的目標(biāo)日志字段；根據(jù)目標(biāo)日志信息標(biāo)識，從所述目標(biāo)日志字段中提取目標(biāo)日志信息；根據(jù)提取到的所有目標(biāo)日志信息，生成所述訪問日志對應(yīng)的訪問記錄，并存入訪問記錄數(shù)據(jù)庫。本申請實(shí)施例所提出的一種訪問記錄提取方法實(shí)現(xiàn)了HIVE的訪問記錄的提取，為HIVE訪問的統(tǒng)計分析提供了數(shù)據(jù)基礎(chǔ)，從而可以實(shí)現(xiàn)對于用戶的錯誤操作或非法操作的監(jiān)控分析。

技術(shù)領(lǐng)域

本申請涉及數(shù)據(jù)分析領(lǐng)域，具體而言，涉及一種訪問記錄提取方法及裝置。

背景技術(shù)

目前，越來越多的平臺使用HIVE來做大數(shù)量的數(shù)據(jù)離線分析，HIVE是基于分布式系統(tǒng)基礎(chǔ)架構(gòu)Hadoop的一個數(shù)據(jù)倉庫工具，可以用來進(jìn)行數(shù)據(jù)的提取、轉(zhuǎn)化和加載，這是一種可以存儲、查詢和分析存儲在Hadoop中的大規(guī)模數(shù)據(jù)的機(jī)制。HIVE數(shù)據(jù)倉庫工具能將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表，并提供SQL查詢功能，能將SQL(Structured QueryLanguage，結(jié)構(gòu)化查詢語言)語句轉(zhuǎn)變成MapReduce任務(wù)來執(zhí)行。HIVE的優(yōu)點(diǎn)是學(xué)習(xí)成本低，可以通過類似SQL語句實(shí)現(xiàn)快速M(fèi)apReduce統(tǒng)計，使MapReduce變得更加簡單，而不必開發(fā)專門的MapReduce應(yīng)用程序。

現(xiàn)有技術(shù)中，使用計算機(jī)網(wǎng)絡(luò)授權(quán)協(xié)議Kerberos可以解決HIVE訪問權(quán)限控制問題，但是目前缺乏HIVE訪問的統(tǒng)計分析手段，主要原因是無法獲取HIVE的訪問記錄。

發(fā)明內(nèi)容

有鑒于此，本申請的目的在于提供一種訪問記錄提取方法及裝置，用于解決現(xiàn)有技術(shù)中如何實(shí)現(xiàn)HIVE的訪問記錄的提取的問題。

第一方面，本申請實(shí)施例提供了一種訪問記錄提取方法，該方法包括：

從日志中心獲取訪問日志；所述訪問日志是數(shù)據(jù)倉庫工具HIVE生成的用戶訪問日志；

針對每個訪問日志，根據(jù)目標(biāo)關(guān)鍵字，查詢所述目標(biāo)關(guān)鍵字對應(yīng)的目標(biāo)日志字段；

根據(jù)目標(biāo)日志信息標(biāo)識，從所述目標(biāo)日志字段中提取目標(biāo)日志信息；

根據(jù)提取到的所有目標(biāo)日志信息，生成所述訪問日志對應(yīng)的訪問記錄，并存入訪問記錄數(shù)據(jù)庫。

在一些實(shí)施例中，所述目標(biāo)關(guān)鍵字包括登錄關(guān)鍵字、連接日志關(guān)鍵字、SQL解析日志關(guān)鍵字、SQL執(zhí)行開始關(guān)鍵字、SQL執(zhí)行結(jié)束關(guān)鍵字。

在一些實(shí)施例中，在從日志中心獲取訪問日志之前，還包括：

從目標(biāo)日志目錄下采集訪問日志，逐條發(fā)送至日志中心。

在一些實(shí)施例中，在根據(jù)提取到的所有目標(biāo)信息，生成所述訪問日志對應(yīng)的訪問記錄，并存入訪問記錄數(shù)據(jù)庫之后，還包括：

根據(jù)目標(biāo)查詢信息，對訪問記錄數(shù)據(jù)庫中的訪問記錄進(jìn)行目標(biāo)操作；所述目標(biāo)查詢信息包括用戶、IP地址、時間和結(jié)果標(biāo)記，所述目標(biāo)操作包括查詢操作和統(tǒng)計操作。

第二方面，本申請?zhí)峁┝艘环N訪問記錄提取裝置，該裝置包括：

獲取模塊，用于從日志中心獲取訪問日志；所述訪問日志是數(shù)據(jù)倉庫工具HIVE生成的用戶訪問日志；

查詢模塊，用于針對每個訪問日志，根據(jù)目標(biāo)關(guān)鍵字，查詢所述目標(biāo)關(guān)鍵字對應(yīng)的目標(biāo)日志字段；

提取模塊，用于根據(jù)目標(biāo)日志信息標(biāo)識，從所述目標(biāo)日志字段中提取目標(biāo)日志信息；

生成模塊，用于根據(jù)提取到的所有目標(biāo)日志信息，生成所述訪問日志對應(yīng)的訪問記錄，并存入訪問記錄數(shù)據(jù)庫。