[發明專利]一種企業管理數據分析處理系統及其方法

在審

• 申請號: 201711218525.2
• 申請日: 2017-11-28
• 公開（公告）號: CN109840138A
• 公開（公告）日: 2019-06-04
• 發明（設計）人: 黃建;黃翔;黃東
• 申請（專利權）人: 廣州市東宏軟件科技有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明涉及企業管理技術領域，特別涉及一種企業管理數據分析處理系統，還特別涉及一種企業管理數據分析處理方法；本發明包括待調度任務生成模塊、待調度任務存儲模塊、任務調度模塊和任務處理模塊；在本發明中，由于在企業管理數據分析處理系統的底層利用Hadoop系統來進行數據分析，而在企業管理數據分析處理系統的上層則以任務調度模塊來實現對任務的統籌管理，以及提供更為人性化的、更為方便的交互管理模式，從而既可以利用Hadoop系統進行數據分析而避免了繁雜的對關系型數據庫的分表、拆表、合并等操作，簡化了數據分析流程，又提供了更為方便地對任務進行調度、管理的系統。

技術領域

本發明涉及企業管理技術領域，特別涉及一種企業管理數據分析處理系統，還特別涉及一種企業管理數據分析處理方法。

背景技術

近幾年，由于數據在互聯網領域的持續增長，各公司都面臨海量數據的處理需求。部門內的數據分析主要為公司各部門運維服務，數據分析主要基于各部門的服務器（Server）產生的日志來進行分析，如apache日志、nginx日志等，目的是基于這些日志對用戶訪問、數據流量在時間維度、產品線維度、域名維度等有明確的量化數據，從而為公司服務器運維管理、流量分配、預估等提供建議。

例如對某產品線的nginx日志進行收集，收集到日志后，需要對日志進行清洗，例如，按照每5分鐘進行初步合并，并統計所有未來需要的字段數據，可能包含的有點擊量、下載數據字節。同時需要按照多個維度進行統計，如按照產品線、域名，按照產品線、服務器ip等維度進行統計，該階段涉及的數據量很大。

最終用戶可以基于這些數據拿到某天詳細的數據訪問量曲線圖，或者是某天、某小時的點擊或帶寬。也可以得到不同維度的下載速度數據等等。

現有技術的基于關系型數據庫進行數據分析的過程，通常包括以下環節：日志收集、日志數據獲取和初步處理、數據拆分入庫、子表數據合并、數據庫外聚合、數據展現等環節。

具體地，數據分析服務器在接收到從日志中獲取的待分析數據后，先使用數據檢查腳本程序對數據進行檢查及格式化處理，然后做初步處理(如5分鐘清洗處理，這個環節會將每行日志合并到每個所在的5分鐘中(每小時包含12個5分鐘，5分鐘一個分析點))，然后在此基礎上再使用其他異構腳本程序做其他的中間分析，這中間需要涉及到對關系型數據庫的分表、拆表及合并，同時還需要考慮關系型數據庫在千萬級數據量下的處理速度，從而采用對于數據庫集群的均衡方案，并從不同服務器上的數據庫中拉取數據再使用其他的完成指定需求的腳本程序進行聚合。經過復雜的多層處理環節，最終統計出數據，并展示數據。

然而，隨著網站規模及用戶量的持續增長，數據量激增，現有技術的數據分析過程中通過復雜的分表、拆表、合并得出具體的分析結果，其技術實現流程復雜，需要專門的維護人員進行維護。而且，如果需要增加新的業務分析需求，則需要增加新的分析腳本，不利于擴展。

綜上所述，現有技術的數據分析方法，因其需要對關系型數據庫進行復雜的分表、拆表、合并等操作，實現流程復雜且不易維護；并且，現有技術的數據分析方法不利于擴展新的業務分析需求。

發明內容

為了克服上述所述的不足，本發明的目的是提供一種企業管理數據分析處理系統，從而簡化數據分析流程，便于維護；還提供一種企業管理數據分析處理方法。

本發明解決其技術問題的技術方案是：

一種企業管理數據分析處理系統，包括：待調度任務生成模塊，用于根據預先定義的任務參數將收集的數據生成待調度的任務；待調度任務存儲模塊，用于存儲所述待調度任務生成模塊生成的待調度的任務；任務調度模塊和任務處理模塊，所述任務調度模塊從所述待調度任務存儲模塊加載待調度的任務，并根據加載的任務的任務類型調用相應的任務處理模塊；所述任務處理模塊根據所述任務中的分析需求生成相應的類結構化查詢語言HiveSQL語句向基于分布式計算Hadoop的數據倉庫服務器發送；在接收到所述服務器返回的數據后完成對所述任務的數據分析。