[發(fā)明專(zhuān)利]用戶(hù)訪問(wèn)數(shù)據(jù)的監(jiān)控系統(tǒng)、方法、裝置及電子設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201910831983.6
• 申請(qǐng)日: 2019-09-04
• 公開(kāi)（公告）號(hào): CN110543509B
• 公開(kāi)（公告）日: 2022-06-03
• 發(fā)明（設(shè)計(jì)）人: 陳暢;蔡偉偉
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京奇藝世紀(jì)科技有限公司
• 主分類(lèi)號(hào): G06F16/25
• 分類(lèi)號(hào): G06F16/25;G06K9/62
• 代理公司: 北京柏杉松知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11413
• 代理人: 丁蕓;項(xiàng)京

本發(fā)明實(shí)施例提供了一種用戶(hù)訪問(wèn)數(shù)據(jù)的監(jiān)控系統(tǒng)、方法、裝置及電子設(shè)備，實(shí)現(xiàn)應(yīng)用服務(wù)器將采集到的用戶(hù)訪問(wèn)記錄按預(yù)設(shè)的存儲(chǔ)格式，發(fā)送至用戶(hù)記錄收集服務(wù)器；用戶(hù)記錄收集服務(wù)器將接收到的用戶(hù)訪問(wèn)記錄存儲(chǔ)至分析數(shù)據(jù)庫(kù)中；數(shù)據(jù)監(jiān)控服務(wù)器從分析數(shù)據(jù)庫(kù)中獲得用戶(hù)訪問(wèn)記錄；對(duì)用戶(hù)訪問(wèn)記錄進(jìn)行解析，從用戶(hù)訪問(wèn)記錄中獲得用戶(hù)特征信息、訪問(wèn)對(duì)象、訪問(wèn)時(shí)間和訪問(wèn)對(duì)象間的相關(guān)性；獲得各個(gè)訪問(wèn)對(duì)象對(duì)應(yīng)的用戶(hù)分布和各個(gè)訪問(wèn)對(duì)象對(duì)應(yīng)的熱度分布。在本實(shí)施例中，獲得的所有用戶(hù)訪問(wèn)記錄都具有相同的存儲(chǔ)格式，不像現(xiàn)有技術(shù)那樣，獲得的所有用戶(hù)訪問(wèn)記錄的存儲(chǔ)格式是不一致的，因此，降低了對(duì)不同存儲(chǔ)格式的用戶(hù)訪問(wèn)數(shù)據(jù)進(jìn)行統(tǒng)一分析的難度。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，特別是涉及一種用戶(hù)訪問(wèn)數(shù)據(jù)的監(jiān)控系統(tǒng)、方法、裝置及電子設(shè)備。

背景技術(shù)

為了保證能夠?yàn)橛脩?hù)提供快速穩(wěn)定的網(wǎng)絡(luò)服務(wù)，就需要對(duì)用戶(hù)的訪問(wèn)記錄進(jìn)行監(jiān)控，進(jìn)而獲得各個(gè)訪問(wèn)對(duì)象的用戶(hù)分布和熱度分布，并根據(jù)訪問(wèn)對(duì)象的用戶(hù)分布和熱度分布信息調(diào)整該訪問(wèn)對(duì)象對(duì)應(yīng)的網(wǎng)絡(luò)資源，從而盡可能的避免由于用戶(hù)訪問(wèn)量過(guò)大，導(dǎo)致訪問(wèn)對(duì)象對(duì)應(yīng)的網(wǎng)絡(luò)資源的負(fù)載過(guò)大造成的網(wǎng)絡(luò)服務(wù)的性能下降影響用戶(hù)體驗(yàn)的問(wèn)題。

因此，需要對(duì)用戶(hù)訪問(wèn)數(shù)據(jù)進(jìn)行監(jiān)控。具體的，提供網(wǎng)絡(luò)服務(wù)的應(yīng)用服務(wù)器在根據(jù)接收到的客戶(hù)端發(fā)送的訪問(wèn)請(qǐng)求，進(jìn)行業(yè)務(wù)處理的過(guò)程中，會(huì)根據(jù)訪問(wèn)請(qǐng)求中的訪問(wèn)對(duì)象將用戶(hù)的訪問(wèn)記錄存儲(chǔ)至對(duì)應(yīng)的數(shù)據(jù)源，這些數(shù)據(jù)源可以是緩存、數(shù)據(jù)庫(kù)、Hbase、Hive、NoSQL等，其中，不同的數(shù)據(jù)源具有不同的數(shù)據(jù)存儲(chǔ)格式。現(xiàn)有的用戶(hù)訪問(wèn)數(shù)據(jù)的監(jiān)控方法，由于各個(gè)數(shù)據(jù)源中存儲(chǔ)的數(shù)據(jù)的格式是不相同的，僅能對(duì)不同數(shù)據(jù)源用戶(hù)訪問(wèn)數(shù)據(jù)進(jìn)行簡(jiǎn)單地統(tǒng)計(jì)分析。因此，存在對(duì)不同存儲(chǔ)格式的用戶(hù)訪問(wèn)數(shù)據(jù)進(jìn)行統(tǒng)一分析的難度比較大的問(wèn)題。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例的目的在于提供一種用戶(hù)訪問(wèn)數(shù)據(jù)的監(jiān)控系統(tǒng)、方法、裝置及電子設(shè)備，以實(shí)現(xiàn)降低對(duì)不同存儲(chǔ)格式的用戶(hù)訪問(wèn)數(shù)據(jù)進(jìn)行統(tǒng)一分析的難度。

具體技術(shù)方案如下：

為了達(dá)到上述目的，第一方面，本發(fā)明實(shí)施例提供了一種用戶(hù)訪問(wèn)數(shù)據(jù)的監(jiān)控系統(tǒng)，該系統(tǒng)包括：應(yīng)用服務(wù)器、用戶(hù)記錄收集服務(wù)器和數(shù)據(jù)監(jiān)控服務(wù)器；

所述應(yīng)用服務(wù)器，用于采集用戶(hù)的訪問(wèn)記錄；將采集到的用戶(hù)訪問(wèn)記錄按預(yù)設(shè)的存儲(chǔ)格式，發(fā)送至所述用戶(hù)記錄收集服務(wù)器；

所述用戶(hù)記錄收集服務(wù)器，用于接收所述應(yīng)用服務(wù)器發(fā)送的用戶(hù)訪問(wèn)記錄；將接收到的所述用戶(hù)訪問(wèn)記錄按照所述預(yù)設(shè)的存儲(chǔ)格式存儲(chǔ)至用于進(jìn)行數(shù)據(jù)分析的分析數(shù)據(jù)庫(kù)中；

所述數(shù)據(jù)監(jiān)控服務(wù)器，用于從所述分析數(shù)據(jù)庫(kù)中獲得用戶(hù)訪問(wèn)記錄；對(duì)所述用戶(hù)訪問(wèn)記錄進(jìn)行解析，從所述用戶(hù)訪問(wèn)記錄中獲得用戶(hù)特征信息、訪問(wèn)對(duì)象、訪問(wèn)時(shí)間及訪問(wèn)對(duì)象間的相關(guān)性；對(duì)所述用戶(hù)訪問(wèn)記錄進(jìn)行聚類(lèi)分析，根據(jù)各個(gè)用戶(hù)訪問(wèn)記錄中的用戶(hù)特征信息和訪問(wèn)對(duì)象，分別獲得各個(gè)訪問(wèn)對(duì)象對(duì)應(yīng)的用戶(hù)分布；根據(jù)各個(gè)用戶(hù)訪問(wèn)記錄中的訪問(wèn)對(duì)象和訪問(wèn)時(shí)間，分別獲得各個(gè)訪問(wèn)對(duì)象對(duì)應(yīng)的熱度分布。

可選的，所述預(yù)設(shè)的存儲(chǔ)格式為：三元組K，T，V的形式，其中，K表示所述應(yīng)用服務(wù)器在業(yè)務(wù)處理過(guò)程中，該用戶(hù)訪問(wèn)記錄將存儲(chǔ)至的數(shù)據(jù)源的標(biāo)識(shí)信息，T表示所述用戶(hù)訪問(wèn)記錄對(duì)應(yīng)的時(shí)間戳，V表示用戶(hù)訪問(wèn)記錄；其中，所述用戶(hù)訪問(wèn)記錄中包含：用戶(hù)特征信息、訪問(wèn)對(duì)象和訪問(wèn)時(shí)間；不同的訪問(wèn)對(duì)象對(duì)應(yīng)的用戶(hù)訪問(wèn)記錄分別對(duì)應(yīng)的存儲(chǔ)在預(yù)設(shè)的不同數(shù)據(jù)源中。

可選的，所述應(yīng)用服務(wù)器，具體用于使用設(shè)置在業(yè)務(wù)代碼中的埋點(diǎn)代碼，采集業(yè)務(wù)處理過(guò)程中，預(yù)設(shè)的采集時(shí)間窗口內(nèi)生成的用戶(hù)訪問(wèn)記錄；將采集到的用戶(hù)訪問(wèn)記錄轉(zhuǎn)換為三元組K，T，V的形式批量發(fā)送至所述用戶(hù)記錄收集服務(wù)器。