[發明專利]數據分析方法、裝置、終端及存儲介質

在審

• 申請號: 201710481015.8
• 申請日: 2017-06-22
• 公開（公告）號: CN107273519A
• 公開（公告）日: 2017-10-20
• 發明（設計）人: 王普;曾奇;李奮
• 申請（專利權）人: 睿視智聯科技（香港）有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 深圳市鼎言知識產權代理有限公司44311
• 代理人: 張利杰

技術領域

本發明涉及數據處理技術領域，具體涉及一種數據分析方法、裝置、終端及存儲介質。

背景技術

目前的商業智能分析技術普遍基于傳統二維表數據庫，通過在傳統數據庫上使用group by，sum，avg等SQL函數的方式來做數據的分布和聚合運算。根據傳統數據庫的數據存儲和實現方式，主要是根據表的索引，做表的掃描和乘積，以投影燈運算的方式來計算出數據的分布和聚合結果。現有的數據分析方法進行數據的分布和聚合運算的性能偏低，需要較長時間才能獲得需要的結果。

發明內容

鑒于以上內容，有必要提出一種數據分析方法、裝置、終端及存儲介質，其可以提高數據的分布和聚合運算的性能，快速得到數據分析結果。

本申請的第一方面提供一種數據分析方法，應用于終端，所述數據分析方法包括：

建立并存儲原始數據的搜索引擎存儲結構，所述搜索引擎存儲結構包括以文檔結構存儲的原始數據及對所述原始數據的分詞關鍵字建立的倒排索引，所述分詞關鍵字通過對所述原始數據進行分詞處理獲得；

接收到對所述原始數據進行分布和/或聚合運算的指令后，確定需要檢索的關鍵字和需要獲取的數據；

從所述倒排索引中查找與所述需要檢索的關鍵字匹配的索引信息；

從所述文檔結構的原始數據中讀取與所述索引信息匹配的文檔；

從所述文檔中讀取所述需要獲取的數據；

對讀取的數據進行所述分布和/或聚合計算，得到計算結果；

輸出所述計算結果。

另一種可能的實現方式中，所述方法還包括：

在進行所述分布和/或聚合計算時，將檢索到的每條數據的關鍵字作為索引緩存在結果集中；

接收二次分析指令，所述二次分析指令指定二次分析關鍵字；

根據所述二次分析指令對所述結果集中的數據進行過濾，留下關鍵字中包含所述二次分析關鍵字的數據；

對過濾后的結果進行聚合計算，得到二次分析結果。

另一種可能的實現方式中，所述原始數據是二維表數據庫，所述建立原始數據的搜索引擎存儲結構是根據所述二維表數據庫建立原始數據的搜索引擎存儲結構。

另一種可能的實現方式中，所述對原始數據進行分詞處理包括：

對所述二維數據庫的字段進行分詞處理。

另一種可能的實現方式中，所述輸出所述計算結果包括：

通過圖表輸出所述計算結果。

本申請的第二方面提供一種數據分析裝置，所述裝置包括：

建立單元，用于建立并存儲原始數據的搜索引擎存儲結構，所述搜索引擎存儲結構包括以文檔結構存儲的原始數據及對所述原始數據的分詞關鍵字建立的倒排索引，所述分詞關鍵字通過對所述原始數據進行分詞處理獲得；

確定單元，用于接收到對所述原始數據進行分布和/或聚合運算的指令后，確定需要檢索的關鍵字和需要獲取的數據；

數據獲取單元，用于從所述倒排索引中查找與所述需要檢索的關鍵字匹配的索引信息，從所述文檔結構的原始數據中讀取與所述索引信息匹配的文檔，從所述文檔中讀取所述需要獲取的數據；

計算單元，用于對讀取的數據進行所述分布和/或聚合計算，得到計算結果；

數據單元，用于輸出所述計算結果。

另一種可能的實現方式中，所述裝置還包括：

二次分析單元，用于在進行所述分布和/或聚合計算時，將檢索到的每條數據的關鍵字作為索引緩存在結果集中；接收二次分析指令，所述二次分析指令指定二次分析關鍵字；根據所述二次分析指令對所述結果集中的數據進行過濾，留下關鍵字中包含所述二次分析關鍵字的數據；對過濾后的結果進行聚合計算，得到二次分析結果。

另一種可能的實現方式中，所述原始數據是二維表數據庫，所述建立原始數據的搜索引擎存儲結構是根據所述二維表數據庫建立原始數據的搜索引擎存儲結構。

本申請的第三方面提供一種終端，所述終端包括處理器，所述處理器用于執行存儲器中存儲的計算機程序時實現所述數據分析方法的步驟。

本申請的第三方面提供一種計算機可讀存儲介質，其上存儲有計算機程序，所述計算機程序被處理器執行時實現所述數據分析方法的步驟。