[發明專利]一種數據處理方法和裝置

有效

• 申請號: 201410099394.0
• 申請日: 2014-03-17
• 公開（公告）號: CN103853838B
• 公開（公告）日: 2017-09-12
• 發明（設計）人: 李娜;廖慧
• 申請（專利權）人: 中國聯合網絡通信集團有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京安信方達知識產權代理有限公司11262
• 代理人: 栗若木,白瑩

技術領域

本發明涉及數據處理技術，尤指一種數據處理方法和裝置。

背景技術

隨著移動互聯網信息量的快速增長，從太字節（PB，Petabyte）級的海量數據中快速分析并查找出所需要的信息已成為人們的迫切需要。

現有的數據分析方法是：采用映射/化簡（Map/Reduce）先對數據進行拆分使得數據量變小，然后再對拆分后的數據分別進行分析或查詢。

現有的數據分析方法缺乏對數據的完整分析，無法實現對數據的深度分析。例如，Map/Reduce需要對來自不同數據系統的數據分別進行分析，將各數據系統的分析結果分別輸出，而無法將各數據系統的分析結果進行合并分析。同樣，如果需要查找的數據包含在不同的數據系統中，也無法查找到對應的數據或者查找效率低。Map/Reduce的計算效率會隨著數據量級的增大而降低，無法滿足對海量數據快速分析和查詢的要求。

發明內容

為了解決上述問題，本發明提出了一種數據處理方法和裝置，能夠對海量數據進行快速分析和查詢。

為了達到上述目的，本發明提出了一種數據處理方法，包括：

對數據進行分析處理；

在需要對數據進行查詢時，根據查詢請求在分析處理后的數據中查找對應的數據，并返回查找到的數據；

所述對數據進行分析處理包括：

將來自不同系統的數據，歸整到原始數據表中，然后再按照數據的分層 結構分別生成基礎數據表、分類數據表和應用數據表；所述數據的分層結構為原始數據層、數據預處理層、數據分析層和應用層。

優選地，所述對數據進行分析處理具體包括：

獲取數據，根據獲得的數據生成原始數據表；

對所述原始數據表中的第一字段進行合并生成至少一個基礎數據表；

對所述基礎數據表中的第二字段進行合并生成至少一個分類數據表；

對所述分類數據表中的第三字段進行合并生成至少一個應用數據表；

所述查詢請求包括查詢關鍵字和限定條件；

所述根據查詢請求在分析處理后的數據中查找對應的數據包括：

根據所述查詢關鍵字查找對應的應用數據表；

當查找不到對應的應用數據表時，根據所述查詢關鍵字和所述分類數據表生成新的應用數據表；

在查找到的應用數據表中查找所述限定條件對應的字段的數據。

優選地，所述原始數據表、基礎數據表、分類數據表和應用數據表保存在HBase數據庫中。

優選地，所述數據為互聯網數據。

優選地，所述第一字段為按時間段進行統計的流量字段、或按地域進行統計的流量字段、或按應用進行統計的流量字段、或按終端進行統計的流量字段。

優選地，所述第二字段為按第一主鍵進行統計的字段，所述第一主鍵包括移動終端標識、時間和分類標識，所述分類標識為流量類型、或終端類型、或應用類型。

優選地，所述第三字段為按第二主鍵進行統計的字段，所述第二主鍵為移動終端標識。

優選地，所述查詢字段為所述應用數據表的第二主鍵字段中的一個或多 個，所述限定條件為手機號、或所述應用數據表中除所述第二主鍵和所述手機號外的其他字段的限定條件中的一個或多個。

本發明還提出了一種數據處理裝置，至少包括：

分析模塊，用于對數據進行分析處理；所述對數據進行分析處理包括：將來自不同系統的數據，歸整到原始數據表中，然后再按照數據的分層結構分別生成基礎數據表、分類數據表和應用數據表；所述數據的分層結構為原始數據層、數據預處理層、數據分析層和應用層；

查找模塊，用于在需要對數據進行查詢時，根據查詢請求在分析處理后的數據中查找對應的數據，并返回查找到的數據。

優選地，所述分析模塊，具體用于：獲取數據，根據獲得的數據生成原始數據表；對所述原始數據表中的第一字段進行合并生成至少一個基礎數據表；對所述基礎數據表中的第二字段進行合并生成至少一個分類數據表；對所述分類數據表中的第三字段進行合并生成至少一個應用數據表；

所述查詢請求包括查詢關鍵字和限定條件；

所述查找模塊，具體用于：