[發明專利]一種基于大數據運營分析的數據處理方法

有效

• 申請號: 201711053343.4
• 申請日: 2017-11-01
• 公開（公告）號: CN107908690B
• 公開（公告）日: 2021-07-20
• 發明（設計）人: 石光捷;付飛龍;方勇;劉東升;項炤赟
• 申請（專利權）人: 南京欣網互聯網絡科技有限公司
• 主分類號: G06F16/14
• 分類號: G06F16/14;G06F16/18;G06F16/182;G06F16/172;G06F16/16;G06F16/13;G06F9/54
• 代理公司: 南京源古知識產權代理事務所(普通合伙) 32300
• 代理人: 馬曉輝

1.一種基于大數據運營分析的數據處理方法，將平臺需要數據通過動畫與圖表的形式展現給平臺的運營人員，其特征在于：

包括以下步驟：

步驟一：采集源數據信息：所述源數據信息包括插碼日志、業務日志、基本信息數據和規則引擎；通過規則引擎，讀取數據信息，找到對應位置文件，啟動Flume系統進行數據采集；

步驟二：數據分類：將步驟一中采集到的數據根據類型的不同，生成對應的Flume系統的Source或channel或sink配置文件，并將生成的Source或channel或sink配置文件分配到Flume系統不同Agent中；

步驟三：清洗數據：Flume系統的各個Agent根據配置文件啟動并進行數據采集；在采集過程中，Agent根據規則引擎中的預設的清洗規則，利用Interceptor對數據內容進行清洗；

步驟四：對清洗后的數據分類：對在步驟三中清洗好的數據判斷數據類型為實時計算數據還是非實時計算數據；如果為實時計算數據，將清洗好的數據導入Kafka系統中進行分析消費，如果為非實時數據將清洗好的數據導入到Hdfs里創建好的文件目錄中；

步驟五：在上述步驟三中的HDFS目錄根據預設的建表規則建立Hive外部表；將HDFS目錄中的日志內容發送到離線數據處理系統中分析HDFS目錄中的數據，并把最終處理結果保存到結果集中；

步驟六：在上述步驟四中的Kafka系統中，根據預設的業務要求實時分析Kafka相應Topic的數據，實時分析消費Kafka中相應Topic的數據，處理結果存放到結果集中；

步驟七：將所述結果集中的數據發送到門戶網站、大屏；展示出的形式為：用戶可配置頁面展示樣式或/和圖標樣式。

2.根據權利要求1所述的一種基于大數據運營分析的數據處理方法，其特征在于：在步驟四中非實時數據導入定義好的HDFS目錄的方式為：利用Flume系統的HDFSSink將日志批量寫入HDFS目錄中存儲并按照日期分子文件夾存儲。

3.根據權利要求1所述的一種基于大數據運營分析的數據處理方法，其特征在于：所述規則引擎設置作業調度和數據格式規則來采集源數據信息。