[發(fā)明專利]一種面向廣電網(wǎng)絡(luò)的數(shù)據(jù)處理方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010310738.3
• 申請(qǐng)日: 2020-04-20
• 公開(kāi)（公告）號(hào): CN113542158A
• 公開(kāi)（公告）日: 2021-10-22
• 發(fā)明（設(shè)計(jì)）人: 袁政;陸偉;許穎浩
• 申請(qǐng)（專利權(quán)）人: 上海文廣互動(dòng)電視有限公司
• 主分類號(hào): H04L12/931
• 分類號(hào): H04L12/931;H04L12/863;H04L12/861;G06F16/28;G06F9/54
• 代理公司: 上海集信知識(shí)產(chǎn)權(quán)代理有限公司 31254
• 代理人: 周成

1.一種面向廣電網(wǎng)絡(luò)的數(shù)據(jù)處理方法，其特征在于，包括以下步驟：

步驟一，采集用戶數(shù)據(jù)；

步驟二，數(shù)據(jù)采集完成之后，利用前端設(shè)備對(duì)采集到的數(shù)據(jù)進(jìn)行埋點(diǎn)；

步驟三，對(duì)埋點(diǎn)后的數(shù)據(jù)進(jìn)行分布式通訊；

步驟四，對(duì)分布式的信息進(jìn)行分析；

步驟五，利用聯(lián)機(jī)分析處理提供模型，并將分布式信息的分析結(jié)果導(dǎo)入到對(duì)應(yīng)的模型中。

2.如權(quán)利要求1所述的面向廣電網(wǎng)絡(luò)的數(shù)據(jù)處理方法，其特征在于，所述步驟一包括：

對(duì)采集數(shù)據(jù)的格式進(jìn)行統(tǒng)一定義，按照事件發(fā)生的主體、事件類別、事件涉及的屬性、事件發(fā)生的時(shí)間、事件發(fā)生的位置以及事件的結(jié)果來(lái)定義日志信息，包括：應(yīng)用標(biāo)識(shí)域、設(shè)備信息域、用戶標(biāo)識(shí)域、動(dòng)作事件域、動(dòng)作對(duì)象域、動(dòng)作時(shí)間域、動(dòng)作地理域和動(dòng)作結(jié)果域。

3.如權(quán)利要求2所述的面向廣電網(wǎng)絡(luò)的數(shù)據(jù)處理方法，其特征在于，所述步驟二包括：

在hook底層的點(diǎn)擊事件來(lái)做數(shù)據(jù)上報(bào)，在上報(bào)的地方統(tǒng)一做數(shù)據(jù)整理；

通過(guò)UI元素的屬性值來(lái)設(shè)置是否對(duì)該元素的點(diǎn)擊事件上報(bào)，用于獲取與元素相關(guān)聯(lián)的其他元素的信息。

4.如權(quán)利要求3所述的面向廣電網(wǎng)絡(luò)的數(shù)據(jù)處理方法，其特征在于，所述步驟三包括：

利用消息隊(duì)列進(jìn)行分布式應(yīng)用間交換信息；

消息隊(duì)列駐留在內(nèi)存或磁盤(pán)上,隊(duì)列存儲(chǔ)消息直到它們被應(yīng)用程序讀走。

5.如權(quán)利要求4所述的面向廣電網(wǎng)絡(luò)的數(shù)據(jù)處理方法，其特征在于，所述步驟四包括：

利用Spark Streaming技術(shù)接收實(shí)時(shí)流的數(shù)據(jù)，并根據(jù)一定的時(shí)間間隔拆分成一批批的數(shù)據(jù)，然后通過(guò)Spark Engine技術(shù)處理所述一批批的數(shù)據(jù)，最終得到處理后的一批批結(jié)果數(shù)據(jù)。

6.如權(quán)利要求5所述的面向廣電網(wǎng)絡(luò)的數(shù)據(jù)處理方法，其特征在于，所述步驟五包括：

利用聯(lián)機(jī)分析處理引擎針對(duì)大數(shù)據(jù)量進(jìn)行數(shù)據(jù)分析，

通過(guò)基于Kylin的MOLAP的方式針對(duì)固定化的查詢；

基于SparkSQL的ROLAP方式針對(duì)處理交互式查詢。

7.如權(quán)利要求4所述的面向廣電網(wǎng)絡(luò)的數(shù)據(jù)處理方法，其特征在于：

所述消息隊(duì)列為Message Queue模式；

所述消息是一個(gè)字節(jié)數(shù)組，支持的數(shù)據(jù)格式包括String、JSON、Avro；

每一個(gè)消息綁定一個(gè)鍵值；

每一個(gè)消息只會(huì)發(fā)送給群組中的一個(gè)消費(fèi)者，所有擁有相同鍵值的消息都會(huì)發(fā)給所述消費(fèi)者。