[發明專利]一種基于大數據和預計算的熱線分析方法及模型

在審

• 申請號: 202011635194.4
• 申請日: 2020-12-31
• 公開（公告）號: CN112685421A
• 公開（公告）日: 2021-04-20
• 發明（設計）人: 李冬
• 申請（專利權）人: 浪潮云信息技術股份公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/242;G06F16/2458;G06F16/25;G06F16/248;G06F16/182
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 馮春連

本發明公開一種基于大數據和預計算的熱線分析方法及模型，涉及大數據可視化技術領域，其實現包括：獲取歷史熱線工單數據，并預處理；在kylin中加載數據，構建維度和度量的組合，利用MapReduce程序將所構建緯度和度量的組合進行預計算，得出所有維度和度量組合的統計結果并存儲于Hbase；在前端開發維度和度量組件、統計組件，維度和度量組件可以根據獲取的維度、度量字段生成json數據并發送到后端；在后端開發一個解析查詢組件，該組件將收到的json數據解析成Kylin可以識別的查詢語句，并調用Jdbc接口，從Hbase中獲取與接收數據相對應的預計算結果，并返回前端的統計組件生成熱線分析指標。本發明可以輔助熱線工作人員和領導快速了解民眾熱線反應的問題。

技術領域

本發明涉及大數據可視化技術領域，具體的說是一種基于大數據和預計算的熱線分析方法及模型。

背景技術

利用拖拉拽的形式進行熱線數據的可視化展示，是近幾年大數據可視化技術中非常常用的一種手段，拖拉拽選擇熱線指標，可以更靈活快捷的分析熱線數據指標，以一種自由度更高的形式分析和展示熱線數據。

基于大數據技術的多維分析引擎kylin也受到很多大數據研發人員的青睞，在傳統大數據計算技術中離線分析、spark實時計算等都無法滿足大數據量下的多維分析情況下，kylin以一種空間換時間的概念，利用預計算技術將海量數據的多維分析響應控制在秒級響應，彌補了大數據生態中缺乏多維分析的問題。

發明內容

本發明針對目前技術發展的需求和不足之處，為了更好的利用熱線系統產生的熱線工單數據，提高相關部門的工作效率，提供一種基于大數據和預計算的熱線分析方法及模型。

首先，本發明公開一種基于大數據和預計算的熱線分析方法，解決上述技術問題采用的技術方案如下：

一種基于大數據和預計算的熱線分析方法，該方法的實現包括：

獲取歷史熱線工單數據，對獲取數據進行預處理；

在分析型數據倉庫kylin中加載預處理后的數據，構建維度和度量的組合，利用MapReduce程序將所構建緯度和度量的組合進行預計算，得出所有維度和度量組合的統計結果，將統計結果存儲在分布式列式數據庫Hbase中；

在前端開發一個自由選擇拖拉拽的維度和度量組件、以及統計組件，該維度和度量組件可以根據獲取的維度、度量字段生成相應的查詢Json數據的程序，并將json數據發送到后端；

在后端開發一個解析查詢組件，該解析查詢組件以設定的規則將收到的json數據解析成分析型數據倉庫Kylin可以識別的查詢語句，并隨后調用分析型數據倉庫kylin的Jdbc接口，從分布式列式數據庫Hbase中獲取與接收數據相對應的預計算結果，并返回前端的統計組件生成熱線分析指標。

具體的，歷史熱線工單數據存儲在分布式存儲系統HDFS中，分布式存儲系統HDFS的歷史熱線工單數據是從熱線系統中遷移過來的。

具體的，對獲取數據進行的預處理包括ETL操作和結構化映射。

更具體的，對獲取數據進行ETL操作后，將數據的日期格式、關聯查詢字典、熱線數據、回訪數據、抽樣數據一一對應起來。

更具體的，對獲取數據進行結構化映射的具體操作為：

利用大數據生態中的數據倉庫工具HIVE對ETL操作后的數據進行結構化映射，生成結構化json數據。

具體的，統計組件根據預計算結果生成的熱線分析指標不限于包括所選時間段內的熱線案件的數量、類別分布、處理時長分布、滿意率、解決率、先行聯系率，統計組件統計生成的所有熱線分析指標，并以多樣化的圖表進行展示。

其次，本發明公開一種基于大數據和預計算的熱線分析模型，解決上述技術問題采用的技術方案如下：