[發(fā)明專利]一種面向廣電網(wǎng)絡(luò)的數(shù)據(jù)處理方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010310738.3
• 申請(qǐng)日: 2020-04-20
• 公開（公告）號(hào): CN113542158A
• 公開（公告）日: 2021-10-22
• 發(fā)明（設(shè)計(jì)）人: 袁政;陸偉;許穎浩
• 申請(qǐng)（專利權(quán)）人: 上海文廣互動(dòng)電視有限公司
• 主分類號(hào): H04L12/931
• 分類號(hào): H04L12/931;H04L12/863;H04L12/861;G06F16/28;G06F9/54
• 代理公司: 上海集信知識(shí)產(chǎn)權(quán)代理有限公司 31254
• 代理人: 周成

本發(fā)明公開了一種面向廣電網(wǎng)絡(luò)的數(shù)據(jù)處理方法，包括以下步驟：步驟一，采集用戶數(shù)據(jù)；步驟二，數(shù)據(jù)采集完成之后，利用前端設(shè)備對(duì)采集到的數(shù)據(jù)進(jìn)行埋點(diǎn)；步驟三，對(duì)埋點(diǎn)后的數(shù)據(jù)進(jìn)行分布式通訊；步驟四，對(duì)分布式的信息進(jìn)行分析；步驟五，利用聯(lián)機(jī)分析處理提供模型，并將分布式信息的分析結(jié)果導(dǎo)入到對(duì)應(yīng)的模型中。本發(fā)明提供一種專用于廣電網(wǎng)絡(luò)的數(shù)據(jù)處理方法，能提升廣電網(wǎng)絡(luò)出局處理的效率，并且這種方法所對(duì)應(yīng)的數(shù)據(jù)結(jié)構(gòu)更優(yōu)化，與廣電網(wǎng)絡(luò)的數(shù)據(jù)特點(diǎn)更匹配。

技術(shù)領(lǐng)域

本發(fā)明涉及一種數(shù)據(jù)處理方法，更具體地說，涉及一種面向廣電網(wǎng)絡(luò)的數(shù)據(jù)處理方法。

背景技術(shù)

廣播電視是通過無線電波或?qū)Ь€傳播聲音、圖像、視頻的新聞傳播工具。只播送聲音的，稱為聲音廣播；播送圖像和聲音的，稱為電視廣播。由信號(hào)發(fā)射端和眾多接收端組成的廣播電視網(wǎng)絡(luò)，成為廣電網(wǎng)絡(luò)。

廣電網(wǎng)絡(luò)是通過無線電波或通過導(dǎo)線向廣大地區(qū)播送音響、圖像節(jié)目的傳播媒介，統(tǒng)稱為廣播。只播送聲音的，稱為聲音廣播；播送圖像和聲音的，稱為電視廣播。狹義上講，廣播是利用無線電波和導(dǎo)線，只用聲音傳播內(nèi)容的。廣義上講，廣播包括我們平常認(rèn)為的單有聲音的廣播及聲音與圖像并存的電視。

然而，現(xiàn)有技術(shù)在基于廣電融合媒體的海量數(shù)據(jù)下，迫切需要針對(duì)新一代廣電網(wǎng)絡(luò)新媒體服務(wù)發(fā)展下的用戶行為數(shù)據(jù)分析和決策輔助技術(shù)需求，研究支持融合業(yè)務(wù)的動(dòng)態(tài)可擴(kuò)展的用戶興趣模型。現(xiàn)有技術(shù)并沒有充分的基于深度學(xué)習(xí)技術(shù)、內(nèi)容分析和行為協(xié)作分析的個(gè)性化推薦等技術(shù)，也缺乏研制面向廣電多網(wǎng)絡(luò)多終端融合環(huán)境下的實(shí)時(shí)數(shù)據(jù)采集、緩存、分析系統(tǒng)，因此無法很好地支持海量的用戶數(shù)據(jù)的實(shí)時(shí)管理與分析功能，實(shí)現(xiàn)無地域及業(yè)務(wù)差別的全國(guó)性廣電用戶數(shù)據(jù)管理。因此，傳統(tǒng)廣電網(wǎng)絡(luò)面臨著向互聯(lián)網(wǎng)新媒體企業(yè)轉(zhuǎn)型背景下的增值服務(wù)、信息推送、業(yè)務(wù)運(yùn)營(yíng)策略的轉(zhuǎn)型困難。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)中存在的上述問題，本發(fā)明的目的是提供一種面向廣電網(wǎng)絡(luò)的數(shù)據(jù)處理方法。

為實(shí)現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案：

一種面向廣電網(wǎng)絡(luò)的數(shù)據(jù)處理方法，包括以下步驟：步驟一，采集用戶數(shù)據(jù)；步驟二，數(shù)據(jù)采集完成之后，利用前端設(shè)備對(duì)采集到的數(shù)據(jù)進(jìn)行埋點(diǎn)；步驟三，對(duì)埋點(diǎn)后的數(shù)據(jù)進(jìn)行分布式通訊；步驟四，對(duì)分布式的信息進(jìn)行分析；步驟五，利用聯(lián)機(jī)分析處理提供模型，并將分布式信息的分析結(jié)果導(dǎo)入到對(duì)應(yīng)的模型中。

進(jìn)一步地，步驟一包括：對(duì)采集數(shù)據(jù)的格式進(jìn)行統(tǒng)一定義，按照事件發(fā)生的主體、事件類別、事件涉及的屬性、事件發(fā)生的時(shí)間、事件發(fā)生的位置以及事件的結(jié)果來定義日志信息，包括：應(yīng)用標(biāo)識(shí)域、設(shè)備信息域、用戶標(biāo)識(shí)域、動(dòng)作事件域、動(dòng)作對(duì)象域、動(dòng)作時(shí)間域、動(dòng)作地理域和動(dòng)作結(jié)果域。

進(jìn)一步地，步驟二包括：在hook底層的點(diǎn)擊事件來做數(shù)據(jù)上報(bào)，在上報(bào)的地方統(tǒng)一做數(shù)據(jù)整理；通過UI元素的屬性值來設(shè)置是否對(duì)該元素的點(diǎn)擊事件上報(bào)，用于獲取與元素相關(guān)聯(lián)的其他元素的信息。

進(jìn)一步地，步驟三包括：利用消息隊(duì)列進(jìn)行分布式應(yīng)用間交換信息；消息隊(duì)列駐留在內(nèi)存或磁盤上,隊(duì)列存儲(chǔ)消息直到它們被應(yīng)用程序讀走。

進(jìn)一步地，步驟四包括：利用Spark Streaming技術(shù)接收實(shí)時(shí)流的數(shù)據(jù)，并根據(jù)一定的時(shí)間間隔拆分成一批批的數(shù)據(jù)，然后通過Spark Engine技術(shù)處理一批批的數(shù)據(jù)，最終得到處理后的一批批結(jié)果數(shù)據(jù)。

進(jìn)一步地，步驟五包括：利用聯(lián)機(jī)分析處理引擎針對(duì)大數(shù)據(jù)量進(jìn)行數(shù)據(jù)分析，通過基于Kylin的MOLAP的方式針對(duì)固定化的查詢；基于SparkSQL的ROLAP方式針對(duì)處理交互式查詢。

進(jìn)一步地，消息隊(duì)列為Message Queue模式；消息是一個(gè)字節(jié)數(shù)組，支持的數(shù)據(jù)格式包括String、JSON、Avro；每一個(gè)消息綁定一個(gè)鍵值；每一個(gè)消息只會(huì)發(fā)送給群組中的一個(gè)消費(fèi)者，所有擁有相同鍵值的消息都會(huì)發(fā)給消費(fèi)者。