[發(fā)明專利]一種基于大數(shù)據(jù)分析的機(jī)頂盒收視方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202010614212.4
• 申請日: 2020-06-30
• 公開（公告）號: CN111753008A
• 公開（公告）日: 2020-10-09
• 發(fā)明（設(shè)計(jì)）人: 陳少靜;王貴江
• 申請（專利權(quán)）人: 珠海邁越信息技術(shù)有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/215;G06F16/28;G06F16/22;G06F16/26;G06F9/54;H04L29/08;H04N21/443;H04N21/442
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 侯麗燕

1.一種基于大數(shù)據(jù)分析的機(jī)頂盒收視統(tǒng)計(jì)方法，其特征在于，包括步驟：

S1，使用http的API接口實(shí)時接收及Flume程序收集客戶端不斷上傳的海量日志文件；

S2，把API接口和Flume采集到的數(shù)據(jù)存儲到kafka分布式訂閱系統(tǒng)中；

S3，對Kafka中的數(shù)據(jù)進(jìn)行ETL數(shù)據(jù)清洗的操作，建立結(jié)構(gòu)化數(shù)據(jù)后存儲到hbase中；

S4，使用Hive關(guān)聯(lián)Hbase中的數(shù)據(jù)，將結(jié)構(gòu)化的數(shù)據(jù)文件映射為數(shù)據(jù)庫表，方便查詢和統(tǒng)計(jì)；

S5，將Hive進(jìn)行數(shù)據(jù)提取、轉(zhuǎn)化、加載分析過后的有價值的數(shù)據(jù)存儲到Mysql中，進(jìn)行統(tǒng)計(jì)匯總和/或呈現(xiàn)。

2.如權(quán)利要求1所述的基于大數(shù)據(jù)分析的機(jī)頂盒收視統(tǒng)計(jì)方法，其特征在于：S5中隊(duì)存儲到Mysql中的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)匯總和/或呈現(xiàn)的方法包括直接查詢Hbase中的結(jié)構(gòu)化數(shù)據(jù)，對該結(jié)構(gòu)化數(shù)據(jù)進(jìn)行離線統(tǒng)計(jì)分析，轉(zhuǎn)換生成機(jī)器學(xué)習(xí)需要的數(shù)據(jù)格式，進(jìn)行模型訓(xùn)練或匯總分析其使用情況存儲到Mysql的數(shù)據(jù)，進(jìn)web可視化管理。

3.如權(quán)利要求2所述的基于大數(shù)據(jù)分析的機(jī)頂盒收視統(tǒng)計(jì)方法，其特征在于：web可視化管理的方法包括使用前端的echarts插件將數(shù)據(jù)進(jìn)行可視化并呈現(xiàn)在web頁面中。

4.如權(quán)利要求1所述的基于大數(shù)據(jù)分析的機(jī)頂盒收視統(tǒng)計(jì)方法，其特征在于：S3中對Kafka中的數(shù)據(jù)進(jìn)行ETL數(shù)據(jù)清洗的操作的方法包括對數(shù)據(jù)進(jìn)行抽取，轉(zhuǎn)換，加載，去除臟數(shù)據(jù)，最后建立結(jié)構(gòu)化數(shù)據(jù)存儲到hbase中。

5.一種基于大數(shù)據(jù)分析的機(jī)頂盒收視統(tǒng)計(jì)系統(tǒng)，其特征在于包括：

數(shù)據(jù)采集單元，用于收集客戶端不斷上傳的海量日志文件；

數(shù)據(jù)的預(yù)處理單元，用于將數(shù)據(jù)采集單元采集到的數(shù)據(jù)存儲到kafka分布式訂閱系統(tǒng)中；

數(shù)據(jù)清洗單元，用于對Kafka中的數(shù)據(jù)進(jìn)行ETL數(shù)據(jù)清洗的操作，建立結(jié)構(gòu)化數(shù)據(jù)；

數(shù)據(jù)分析處理單元，用于對結(jié)構(gòu)化的數(shù)據(jù)文件映射為數(shù)據(jù)庫表，方便查詢和統(tǒng)計(jì)；

數(shù)據(jù)存儲單元，用于將提取、轉(zhuǎn)化、加載分析過后的有價值的數(shù)據(jù)進(jìn)行存儲方便匯總統(tǒng)計(jì)；

數(shù)據(jù)統(tǒng)計(jì)匯總和呈現(xiàn)單元，用于對數(shù)據(jù)進(jìn)行統(tǒng)計(jì)匯總和/或通過可視化單元進(jìn)行呈現(xiàn)；

可視化單元，用于將數(shù)據(jù)可視化顯示。

6.如權(quán)利要求5所述的基于大數(shù)據(jù)分析的機(jī)頂盒收視統(tǒng)計(jì)系統(tǒng)，其特征在于：所述數(shù)據(jù)采集單元采用http的API接口實(shí)時接收及采用Flume程序模塊收集客戶端不斷上傳的海量日志文件。

7.如權(quán)利要求5所述的基于大數(shù)據(jù)分析的機(jī)頂盒收視統(tǒng)計(jì)系統(tǒng)，其特征在于：所述數(shù)據(jù)清洗單元通過抽取，轉(zhuǎn)換，加載，去除臟數(shù)據(jù)，建立結(jié)構(gòu)化數(shù)據(jù)并存儲到hbase模塊中。

8.如權(quán)利要求5所述的基于大數(shù)據(jù)分析的機(jī)頂盒收視統(tǒng)計(jì)系統(tǒng)，其特征在于：所述數(shù)據(jù)分析處理單元使用Hive關(guān)聯(lián)Hbase中的數(shù)據(jù)，通過Hive數(shù)據(jù)倉庫工具將結(jié)構(gòu)化的數(shù)據(jù)文件映射為數(shù)據(jù)庫表。

9.如權(quán)利要求5所述的基于大數(shù)據(jù)分析的機(jī)頂盒收視統(tǒng)計(jì)系統(tǒng)，其特征在于：所述數(shù)據(jù)存儲單元包括Mysql模塊，通過將Hive進(jìn)行數(shù)據(jù)提取、轉(zhuǎn)化、加載分析過后的有價值的數(shù)據(jù)存儲到Mysql中，進(jìn)行匯總統(tǒng)計(jì)。

10.如權(quán)利要求5所述的基于大數(shù)據(jù)分析的機(jī)頂盒收視統(tǒng)計(jì)系統(tǒng)，其特征在于：所述可視化單元包括使用前端的echarts插件將數(shù)據(jù)進(jìn)行可視化，呈現(xiàn)在web頁面中。