[發明專利]基于移動終端的大數據分析方法及系統

在審

• 申請號: 202110711163.0
• 申請日: 2021-06-25
• 公開（公告）號: CN113505182A
• 公開（公告）日: 2021-10-15
• 發明（設計）人: 陸小龍
• 申請（專利權）人: 深圳市飛爾智瑞軟件有限公司
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06F16/25
• 代理公司: 深圳市特訊知識產權代理事務所(普通合伙) 44653
• 代理人: 陸麗芳

本發明公開了基于移動終端的大數據分析方法及系統，包括J2EE和云計算平臺，所述J2EE包括前端展示和MysQl數據庫，所述MysQl數據庫電性輸入連接所述前端展示，所述云計算平臺包括分析結果導出、Hive數據庫、大數據分析模型、DFS數據庫、Hbase數據庫、大數據預處理、大數據入庫、DPI FTP服務器、應用平臺FTP服務器、主節點服務器、DPI采集系統和應用平臺。本發明通過云計算技術實現分布式并發的大規模計算能力,構建移動互聯網端到端的大數據挖掘分析系統，實現對DPI和應用平臺用戶上網行為的偏好分析,提供個性化推薦服務，打通從數據采集、分析到服務提供、營銷執行的全過程，進而能夠在有效的時間內完成大數據處理和分析任務。

技術領域

本發明涉及大數據分析技術領域，具體為基于移動終端的大數據分析方法及系統。

背景技術

目前，人們對大數據尚未形成公認的定義或者概念。在百度百科中，大數據被定義為“大數據(BigData)，其主要的核心就在大字上，意味著在數據處理的過程中，大數據超出普通數據處理的范疇，難以應用現代通用的軟件進行數據處理方面的工作。IDC則將大數據定義為：符合經濟效益、超強信息容量、具有結構特殊、類型多樣的現代數據處理技術。著名作家涂子沛也對大數據發表了個人的看法，認為大數據的大具有多重的含義，不僅在容量上具有包容性，同時，在數據應用以及數據傳播等方面也具有廣博、宏大的特點。并且在大數據的推動下，社會中的各行各業也會在經濟以及科技等多個方面取得大的發展和大的效果。

現有的終端大數據分析存在嚴重的問題就是在使用的時候不能有效的將數據采集、分析到服務提供、營銷執行的全過程打通，進而會對大數據處理和分析造成影響，并且由于接口層的接入方式不同，進而會影響到數據的傳輸規模。

發明內容

本發明的目的在于提供基于移動終端的大數據分析方法及系統，解決了背景技術中所提出的問題。

為實現上述目的，本發明提供如下技術方案：基于移動終端的大數據分析方法及系統，包括J2EE和云計算平臺，所述J2EE包括前端展示和MysQl數據庫，所述MysQl數據庫電性輸入連接所述前端展示，所述云計算平臺包括分析結果導出、Hive數據庫、大數據分析模型、DFS數據庫、Hbase數據庫、大數據預處理、大數據入庫、DPI FTP服務器、應用平臺FTP服務器、主節點服務器、DPI采集系統和應用平臺。

作為本發明的一種優選實施方式，所述分析結果導出包括DPI分析結果和應用平臺分析結果，所述分析結果導出電性雙向連接所述Hive數據庫，所述Hive數據庫電性輸出連接所述MysQl數據庫，所述分析結果導出電性輸入連接所述大數據分析模型，所述大數據分析模型包括關聯分析模型、應用平臺分析模型和DPI分析模型，所述大數據分析模型電性雙向連接所述DFS數據庫，所述大數據分析模型電性輸入連接所述大數據預處理，所述大數據預處理包括應用平臺ETL處理和DPI ETL處理，所述大數據預處理電性雙向連接Hbase數據庫，所述大數據預處理電性輸入連接所述大數據入庫，所述大數據入庫包括DPI數據入庫組件和應用平臺數據入庫組件，所述大數據入庫電性輸入連接DPI FTP服務器和應用平臺FTP服務器，所述主節點服務器包括大數據用戶行為分析模擬組件、大數據入庫與預處理組件和任務管理與調度，所述任務管理與調度電性輸出連接所述大數據用戶行為分析模擬組件和所述大數據入庫與預處理組件，所述大數據入庫與預處理組件電性輸出連接所述大數據用戶行為分析模擬組件，所述DPI采集系統和所述應用平臺均電性輸出連接所述主節點服務器。

作為本發明的一種優選實施方式，所述應用平臺ETL處理和所述DPI ETL處理通過匯總層、整合層和接口層連通。

作為本發明的一種優選實施方式，所述任務管理與調度包括自動控制數據抽取、數據整理、數據建模模型運行、結果輸出的過程。

作為本發明的一種優選實施方式，所述大數據入庫與預處理組件將DPI用戶的上網行為、應用平臺的用戶行為和內容信息的大數據，及時導入大數據用戶行為分析模型組件中。