[發明專利]一種行為數據收集處理系統及方法

有效

• 申請號: 202010585516.2
• 申請日: 2020-06-24
• 公開（公告）號: CN111898036B
• 公開（公告）日: 2023-10-20
• 發明（設計）人: 林曉俊;黃光明;胡肖彥;陳強
• 申請（專利權）人: 方欣科技有限公司
• 主分類號: G06F16/9536
• 分類號: G06F16/9536
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郭浩輝;麥小嬋

1.一種行為數據收集處理系統，其特征在于，包括：數據收集層、行為數據校驗模塊、行為數據解析模塊和數據完善處理模塊；

所述數據收集層用于收集接入網站網頁上由用戶操作生成的行為數據，并經過加密處理，得到原始行為數據；

所述行為數據校驗模塊用于對原始行為數據進行校驗處理，過濾重復發送的行為數據和無效的行為數據，得到校驗行為數據；

所述行為數據解析模塊用于對所述校驗行為數據進解析處理，提取數據信息得到行為解析數據；

所述數據完善處理模塊用于對所述行為解析數據進行補充完善處理，得到完善行為數據。

2.如權利要求1所述的行為數據收集處理系統，其特征在于，還包括：行為數據發送模塊和數據緩存層；

所述行為數據發送模塊用于接收所述行為解析數據，并將所述行為解析數據發送到數據緩存層；

所述數據緩存層用于通過消息隊列集群對接收到的所述行為解析數據進行緩沖處理，提升數據處理的吞吐率；

還包括：數據儲存模塊；所述數據儲存模塊用于對所述完善行為數據進行儲存。

3.如權利要求1所述的行為數據收集處理系統，其特征在于，還包括：行為數據報表模塊和接入管理模塊；

所述行為數據報表模塊用于對各網站應用進行各維度的數據聚合運算，實時響應用戶的查詢請求；

所述接入管理模塊用于對接入的各網站應用進行管理和個性化配置。

4.如權利要求1至3中任一項所述的行為數據收集處理系統，其特征在于，所述數據收集層包括：

第一采集單元，用于在用戶瀏覽頁面加載時，初始化獲取用戶行為數據，并生成行為數據唯一標識，存儲到變量數據結構中；

第二采集單元，用于獲取客戶端緩存的相關數據，存儲到變量數據結構中；

第三采集單元，用于開啟監聽事件處理器，對各類用戶行為埋點事件數據進行循環監聽并存儲到變量數據結構中；

字符串單元，用于將所述變量數據結構中的所有值排序后拼接在一起得到字符串，對所述字符串進行散列處理后得到簽名參數并將所述簽名參數存儲到所述變量數據結構中；

參數拼接單元，用于對存儲了簽名參數后的所述變量數據結構中的所有參數值進行拼接，得到行為數據請求指令；

數據編碼單元，用于對所述行為數據請求指令進行編碼得到初始行為數據；

數據拼接單元，用于構建參數對象并將屬性設置為行為數據收集端，將所述行為數據收集端與所述初始行為數據進行拼接，得到原始行為數據。

5.如權利要求4所述的行為數據收集處理系統，其特征在于，所述行為數據校驗模塊包括：

缺失過濾單元，用于對原始行為數據中的必填參數進行校驗，對必填參數缺失的原始行為數據進行過濾；

配置過濾單元，用于根據應用配置的行為數據收集端匹配信息，對所述匹配信息不存在網站配置的行為數據收集端列表信息中的原始行為數據進行過濾；

無效過濾單元，用于獲取請求信息中的請求唯一標識信息,根據所述唯一標識信息獲取行為信息，根據獲取的所述行為信息確定重復無效消息，進行過濾；

失效過濾單元，用于設置失效時間，對緩存時間超過所述失效時間的原始行為數據確定為失效消息，進行過濾；

偽造過濾單元，用于將請求參數中除簽名參數外的所有參數的值進行排序后拼接成字符串,然后對字符串進行散列處理后得到散列參數，當所述散列參數與所述請求參數中的簽名參數的值不一致時，則確定為偽造行為數據，進行過濾。

6.如權利要求5所述的行為數據收集處理系統，其特征在于，所述行為數據解析模塊包括：

第一解析單元，用于根據網頁應用配置的參數列表，對行為數據收集端上的參數變量進行解析，得到第一數據集；

第二解析單元，用于對所述行為數據請求指令中的參數進行解析，得到第二數據集；

第三解析單元，用于對所述第二數據集中的IP信息進行解析，得到含有地理信息的第三數據集；

第四解析單元，用于對所述第二數據集中的字符串信息進行解析，得到含有系統信息的第四數據集；

合并轉換單元，用于將所述第一數據集、第二數據集、第三數據集和第四數據集進行合并得到第五數據集，將所述第五數據集轉換成行為解析數據。