[發(fā)明專(zhuān)利]一種行為數(shù)據(jù)收集處理系統(tǒng)及方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010585516.2
• 申請(qǐng)日: 2020-06-24
• 公開(kāi)（公告）號(hào): CN111898036B
• 公開(kāi)（公告）日: 2023-10-20
• 發(fā)明（設(shè)計(jì)）人: 林曉俊;黃光明;胡肖彥;陳強(qiáng)
• 申請(qǐng)（專(zhuān)利權(quán)）人: 方欣科技有限公司
• 主分類(lèi)號(hào): G06F16/9536
• 分類(lèi)號(hào): G06F16/9536
• 代理公司: 廣州三環(huán)專(zhuān)利商標(biāo)代理有限公司 44202
• 代理人: 郭浩輝;麥小嬋

本發(fā)明公開(kāi)了一種行為數(shù)據(jù)收集處理系統(tǒng)，包括：數(shù)據(jù)收集層、行為數(shù)據(jù)校驗(yàn)?zāi)K、行為數(shù)據(jù)解析模塊和數(shù)據(jù)完善處理模塊；數(shù)據(jù)收集層用于收集接入網(wǎng)站網(wǎng)頁(yè)上由用戶操作生成的行為數(shù)據(jù)，并經(jīng)過(guò)加密處理，得到原始行為數(shù)據(jù)；行為數(shù)據(jù)校驗(yàn)?zāi)K用于對(duì)原始行為數(shù)據(jù)進(jìn)行校驗(yàn)處理，過(guò)濾重復(fù)發(fā)送的行為數(shù)據(jù)和無(wú)效的行為數(shù)據(jù)，得到校驗(yàn)行為數(shù)據(jù)；行為數(shù)據(jù)解析模塊用于對(duì)所述校驗(yàn)行為數(shù)據(jù)進(jìn)解析處理，提取數(shù)據(jù)信息得到行為解析數(shù)據(jù)；數(shù)據(jù)完善處理模塊用于對(duì)所述行為解析數(shù)據(jù)進(jìn)行補(bǔ)充完善處理，得到完善行為數(shù)據(jù)；本發(fā)明通過(guò)對(duì)原始行為數(shù)據(jù)進(jìn)行校驗(yàn)處理，過(guò)濾重復(fù)發(fā)送的行為數(shù)據(jù)和無(wú)效的行為數(shù)據(jù)，并對(duì)解析處理后的行為數(shù)據(jù)進(jìn)行補(bǔ)充完善，以提高行為數(shù)據(jù)質(zhì)量。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種行為數(shù)據(jù)收集處理系統(tǒng)及方法。

背景技術(shù)

隨著互聯(lián)網(wǎng)、大數(shù)據(jù)技術(shù)的不斷發(fā)展，對(duì)海量用戶行為數(shù)據(jù)的收集、統(tǒng)計(jì)、分析變得越來(lái)越重要。通過(guò)對(duì)用戶行為數(shù)據(jù)的分析可以幫助提升互聯(lián)網(wǎng)產(chǎn)品的服務(wù)質(zhì)量、提升用戶滿意度、提升行業(yè)競(jìng)爭(zhēng)力。例如，京東等電商平臺(tái)通過(guò)采集分析用戶瀏覽網(wǎng)頁(yè)的行為數(shù)據(jù)后，對(duì)用戶推送相關(guān)的推薦購(gòu)物信息，做到了精確、個(gè)性化的營(yíng)銷(xiāo)消息推送，提升了產(chǎn)品的銷(xiāo)售量。

現(xiàn)有傳統(tǒng)的網(wǎng)站用戶行為采集技術(shù)，主要有以下兩種：

1)采用在網(wǎng)站應(yīng)用中部署采集代碼和采集處理程序，通過(guò)網(wǎng)站應(yīng)用本身進(jìn)行用戶行為數(shù)據(jù)的采集和收集，將用戶行為數(shù)據(jù)直接記錄入網(wǎng)站數(shù)據(jù)庫(kù)中或應(yīng)用本身的日志文件之中，然后再通過(guò)解析日志文件的方式將行為數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)庫(kù)中。

2)引入公共的收集SDK，通過(guò)SDK收集客戶端用戶行為數(shù)據(jù)，服務(wù)端統(tǒng)一接收行為數(shù)據(jù)后存儲(chǔ)至數(shù)據(jù)庫(kù)或生成日志文件，再通過(guò)解析日志文件后存儲(chǔ)到行為數(shù)據(jù)庫(kù)。

但是上述現(xiàn)有技術(shù)中存在以下5個(gè)缺點(diǎn)：

(1)用戶數(shù)據(jù)收集開(kāi)發(fā)難度大，網(wǎng)站研發(fā)人員需要根據(jù)編寫(xiě)額外的用戶收集代碼來(lái)收集用戶行為數(shù)據(jù)，業(yè)務(wù)邏輯代碼與用戶行為數(shù)據(jù)邏輯代碼混雜在一起。后續(xù)的代碼維護(hù)工作量大。

(2)用戶數(shù)據(jù)處理效率低，由于傳統(tǒng)的用戶行為數(shù)據(jù)要么是直接存儲(chǔ)到數(shù)據(jù)庫(kù)，要么是寫(xiě)入到日志文件，這就產(chǎn)生了額外的磁盤(pán)IO消耗，降低了數(shù)據(jù)收集的處理效率。當(dāng)用戶行為數(shù)據(jù)增長(zhǎng)到海量級(jí)別時(shí)，會(huì)存在用戶數(shù)據(jù)處理慢、處理不及時(shí)等問(wèn)題。

(3)存在用戶行為數(shù)據(jù)丟失的問(wèn)題，傳統(tǒng)用戶行為數(shù)據(jù)接收服務(wù)端除了承擔(dān)用戶數(shù)據(jù)接收、驗(yàn)證的邏輯后，還要負(fù)責(zé)行為數(shù)據(jù)寫(xiě)入到數(shù)據(jù)庫(kù)或者生成日志文件，當(dāng)有海量行為數(shù)據(jù)請(qǐng)求時(shí)，可能會(huì)存在部分的行為數(shù)據(jù)因來(lái)不及處理而丟失的問(wèn)題。

(4)存在用戶數(shù)據(jù)存儲(chǔ)分散的問(wèn)題，傳統(tǒng)的用戶行為數(shù)據(jù)是各個(gè)應(yīng)用獨(dú)立收集分析，存儲(chǔ)到各自的業(yè)務(wù)數(shù)據(jù)庫(kù)或行為數(shù)據(jù)庫(kù)中，形成了眾多的行數(shù)據(jù)庫(kù)孤島。這樣就無(wú)法對(duì)用戶的數(shù)據(jù)做出全面精確的分析判斷。需要組織研發(fā)團(tuán)隊(duì)對(duì)各個(gè)行為數(shù)據(jù)孤島的數(shù)據(jù)進(jìn)行抽取整合，又因各行為數(shù)據(jù)收集處理是各自收集，收集的標(biāo)準(zhǔn)、規(guī)范不統(tǒng)一，導(dǎo)致行為數(shù)據(jù)整合的難度較大。

(5)存在用戶數(shù)據(jù)重復(fù)和偽造的問(wèn)題，傳統(tǒng)用戶行為數(shù)據(jù)收集處理，基本是收集一條存儲(chǔ)一條的模式，沒(méi)有對(duì)數(shù)據(jù)的重復(fù)性、有效性進(jìn)行校驗(yàn)。例如，有惡意用戶停留在某個(gè)網(wǎng)頁(yè)時(shí)，不斷的按F5刷新網(wǎng)頁(yè)時(shí)，就會(huì)產(chǎn)生大量重復(fù)的用戶瀏覽該網(wǎng)頁(yè)的數(shù)據(jù)，而這些數(shù)據(jù)對(duì)于網(wǎng)頁(yè)運(yùn)營(yíng)者來(lái)說(shuō)是沒(méi)有意義的。

發(fā)明內(nèi)容

本發(fā)明提供了一種行為數(shù)據(jù)收集處理系統(tǒng)及方法，以提升行為數(shù)據(jù)的質(zhì)量。

為了解決上述技術(shù)問(wèn)題，本發(fā)明實(shí)施例提供了一種行為數(shù)據(jù)收集處理系統(tǒng)，包括：數(shù)據(jù)收集層、行為數(shù)據(jù)校驗(yàn)?zāi)K、行為數(shù)據(jù)解析模塊和數(shù)據(jù)完善處理模塊；

所述數(shù)據(jù)收集層用于收集接入網(wǎng)站網(wǎng)頁(yè)上由用戶操作生成的行為數(shù)據(jù)，并經(jīng)過(guò)加密處理，得到原始行為數(shù)據(jù)；

所述行為數(shù)據(jù)校驗(yàn)?zāi)K用于對(duì)原始行為數(shù)據(jù)進(jìn)行校驗(yàn)處理，過(guò)濾重復(fù)發(fā)送的行為數(shù)據(jù)和無(wú)效的行為數(shù)據(jù)，得到校驗(yàn)行為數(shù)據(jù)；