[發明專利]一種基于大數據分析的機頂盒收視方法及系統

在審

• 申請號: 202010614212.4
• 申請日: 2020-06-30
• 公開（公告）號: CN111753008A
• 公開（公告）日: 2020-10-09
• 發明（設計）人: 陳少靜;王貴江
• 申請（專利權）人: 珠海邁越信息技術有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/215;G06F16/28;G06F16/22;G06F16/26;G06F9/54;H04L29/08;H04N21/443;H04N21/442
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 侯麗燕

本發明公開了一種基于大數據分析的機頂盒收視統計方法及系統，其特征方法包括步驟：實時接收及Flume程序收集客戶端不斷上傳的海量日志文件；把采集到的數據存儲到kafka分布式訂閱系統中；對Kafka中的數據進行ETL數據清洗的操作，建立結構化數據后存儲到hbase中；使用Hive關聯Hbase中的數據，將結構化的數據文件映射為數據庫表；使用Hive進行統計匯總，統計結果存儲到Mysql中；web頁面支撐實時查詢hbase中的結構化數據以及Mysql的統計結果報表展示。系統包括數據采集單元，數據的預處理單元，數據清洗單元，數據分析處理單元，數據存儲單元，數據統計匯總和呈現單元和可視化單元。本發明使大大的提高機頂盒收集統計數據的處理速度和能力，能支持多元化的信息收集。

技術領域

本發明涉及流媒體采集設備技術領域，特別涉及一種利用U盤進行系統強制更新的方法。

背景技術

人們在生活中產生的數據的速度越來越快，要存儲這些數據，需要大量的磁盤容量。存儲之后，進行數據分析，也需要大量的運行性能，傳統的技術，對于海量的數據，單單依靠mysql來處理和分析，已然無法滿足和實現我們的需求，在傳統的收集方式中，面對客戶端每天生成的上億的數據，mysql接收和處理都有瓶頸。大數據量的存儲和統計，mysql無法支撐，甚至導致來不及處理，而造成了堵塞卡頓或者宕機，無法繼續進行統計相關的工作。同時，也因為數據過多，mysql查詢時間長，達不到秒級實時響應的效果，需要更多的服務器支撐，特別是在機頂盒的收視方面，在需要大訪問量的情況下，如果還用傳統的方式，會大大的提高了服務器的成本，也加大了運營維護的難度。

發明內容

為了克服以上問題，本發明在提出了一種基于大數據分析的機頂盒收視統計方法的同時，還提出了一種基于大數據分析的機頂盒收視統計系統，該方法及方法用于使機頂盒大大的提高數據的處理速度和能力，能支撐更多的訪問量。

本發明的技術方案為：

一種基于大數據分析的機頂盒收視統計方法，其特征在于，包括步驟：

S1，使用http的API接口實時接收及Flume程序收集客戶端不斷上傳的海量日志文件；

S2，把API接口和Flume采集到的數據存儲到kafka分布式訂閱系統中；

S3，對Kafka中的數據進行ETL數據清洗的操作，建立結構化數據后存儲到hbase中；

S4，使用Hive關聯Hbase中的數據，將結構化的數據文件映射為數據庫表，方便查詢和統計；

S5，將Hive進行數據提取、轉化、加載分析過后的有價值的數據存儲到Mysql中，進行統計匯總和/或呈現。

進一步地，S5中隊存儲到Mysql中的數據進行統計匯總和/或呈現的方法包括直接查詢Hbase中的結構化數據，對該結構化數據進行離線統計分析，轉換生成機器學習需要的數據格式，進行模型訓練或匯總分析其使用情況存儲到Mysql的數據，進web可視化管理。

進一步地，web可視化管理的方法包括使用前端的echarts插件將數據進行可視化并呈現在web頁面中。

進一步地，S3中對Kafka中的數據進行ETL數據清洗的操作的方法包括對數據進行抽取，轉換，加載，去除臟數據，最后建立結構化數據存儲到hbase中。

一種基于大數據分析的機頂盒收視統計系統，其特征在于包括：

數據采集單元，用于收集客戶端不斷上傳的海量日志文件；

數據的預處理單元，用于將數據采集單元采集到的數據存儲到kafka分布式訂閱系統中；

數據清洗單元，用于對Kafka中的數據進行ETL數據清洗的操作，建立結構化數據；