[發明專利]一種數據處理方法和裝置

有效

• 申請號: 201410099394.0
• 申請日: 2014-03-17
• 公開（公告）號: CN103853838B
• 公開（公告）日: 2017-09-12
• 發明（設計）人: 李娜;廖慧
• 申請（專利權）人: 中國聯合網絡通信集團有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京安信方達知識產權代理有限公司11262
• 代理人: 栗若木,白瑩

1.一種數據處理方法，其特征在于，基于HIVE，包括：

對數據進行分析處理；

在需要對數據進行查詢時，根據查詢請求在分析處理后的數據中查找對應的數據，并返回查找到的數據；

所述對數據進行分析處理包括：

將來自不同系統的數據，歸整到原始數據表中，得到原始數據層；然后在總量數據上進行串行任務，生成基礎數據表，得到預數據處理層；其次進行并行任務，生成分類數據表，得到數據分析層；匯總各分類數據表形成應用數據表，得到應用層；其中，所述數據為互聯網數據，包括流量采集系統采集的數據、終端管理系統采集的數據、基站管理系統采集的數據和應用管理系統采集的數據中的一種或多種。

2.根據權利要求1所述的數據處理方法，其特征在于，

所述對數據進行分析處理具體包括：

獲取數據，根據獲得的數據生成原始數據表；

對所述原始數據表中的第一字段進行合并生成至少一個基礎數據表；

對所述基礎數據表中的第二字段進行合并生成至少一個分類數據表；

對所述分類數據表中的第三字段進行合并生成至少一個應用數據表；

所述查詢請求包括查詢關鍵字和限定條件；

所述根據查詢請求在分析處理后的數據中查找對應的數據包括：

根據所述查詢關鍵字查找對應的應用數據表；

當查找不到對應的應用數據表時，根據所述查詢關鍵字和所述分類數據表生成新的應用數據表；

在查找到的應用數據表中查找所述限定條件對應的字段的數據。

3.根據權利要求2所述的數據處理方法，其特征在于，所述原始數據表、基礎數據表、分類數據表和應用數據表保存在HBase數據庫中。

4.根據權利要求2所述的數據處理方法，其特征在于，所述第一字段為按時間段進行統計的流量字段、或按地域進行統計的流量字段、或按應用進行統計的流量字段、或按終端進行統計的流量字段。

5.根據權利要求2所述的數據處理方法，其特征在于，所述第二字段為按第一主鍵進行統計的字段，所述第一主鍵包括移動終端標識、時間和分類標識，所述分類標識為流量類型、或終端類型、或應用類型。

6.根據權利要求2所述的數據處理方法，其特征在于，所述第三字段為按第二主鍵進行統計的字段，所述第二主鍵為移動終端標識。

7.根據權利要求2所述的數據處理方法，其特征在于，所述查詢字段為所述應用數據表的第二主鍵字段中的一個或多個，所述限定條件為手機號、或所述應用數據表中除所述第二主鍵和所述手機號外的其他字段的限定條件中的一個或多個。

8.一種數據處理裝置，其特征在于，基于HIVE，至少包括：

分析模塊，用于對數據進行分析處理；所述對數據進行分析處理包括：將來自不同系統的數據，歸整到原始數據表中，得到原始數據層；然后在總量數據上進行串行任務生成基礎數據表，得到數據預處理層；其次進行并行任務，生成分類數據表，得到數據分析層；匯總各分類數據表形成應用數據表，得到應用層；其中，所述數據為互聯網數據，包括流量采集系統采集的數據、終端管理系統采集的數據、基站管理系統采集的數據和應用管理系統采集的數據中的一種或多種；

查找模塊，用于在需要對數據進行查詢時，根據查詢請求在分析處理后的數據中查找對應的數據，并返回查找到的數據。

9.根據權利要求8所述的數據處理裝置，其特征在于，

所述分析模塊，具體用于：獲取數據，根據獲得的數據生成原始數據表；對所述原始數據表中的第一字段進行合并生成至少一個基礎數據表；對所述基礎數據表中的第二字段進行合并生成至少一個分類數據表；對所述分類數據表中的第三字段進行合并生成至少一個應用數據表；

所述查詢請求包括查詢關鍵字和限定條件；

所述查找模塊，具體用于：

根據所述查詢關鍵字查找對應的應用數據表；查找不到對應的應用數據表，根據所述查詢關鍵字和所述分類數據表生成新的應用數據表；在查找到的應用數據表中查找所述限定條件對應的字段的數據。