[發明專利]一種多數據源的數據分析系統、方法及設備

有效

• 申請號: 201910994900.5
• 申請日: 2019-10-18
• 公開（公告）號: CN110704402B
• 公開（公告）日: 2022-11-29
• 發明（設計）人: 吳丁;李金鳳;蔡炳炎;陳光堯;謝睿
• 申請（專利權）人: 廣州趣丸網絡科技有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 沈闖

本申請實施例公開了一種多數據源的數據分析系統、方法及設備，包括：數據拆分單元，用于將從產品中獲取的數據拆分成用戶數據和用戶行為數據；數據存儲單元，用于存儲所述用戶數據和所述用戶行為數據；所述數據存儲單元包括低速寫入存儲單元和高速寫入存儲單元，所述低速寫入存儲單元用于存儲所述用戶數據，所述高速寫入存儲單元用于存儲所述用戶行為數據；查詢引擎單元，用于訪問所述低速寫入存儲單元和所述高速寫入存儲單元，獲取所述用戶數據和所述用戶行為數據，并將獲取到的所述用戶數據和所述用戶行為數據傳輸至OLAP系統或者離線分析系統。本申請解決了現有技術中數據存儲及使用的成本過高，維護性差的問題。

技術領域

本申請涉及數據分析技術領域，尤其涉及一種多數據源的數據分析系統、方法及設備。

背景技術

對一個產品的用戶行為數據的數據分析大都需要經歷兩個階段：其第一階段：當新功能剛上線時，為了對新功能進行快速驗證，需要進行實時地行為分析，進而更快的調整產品,通常分析時延要求在分鐘甚至秒級。第二階段：在功能上線一段時間后，用戶數據穩定，此時需要根據前期發掘出的數據分析報表進行數據分析，此類分析對實時性要求不高，通常在按天統計即可,此類分析通常是第一階段分析的總結歸納。

對于第一階段，時延性要求高通常需要使用聯機分析處理OLAP來完成，其中OLAP對實時性要求高，穩定性相對較弱；第二階段因為時延性要求不高通常使用離線分析的方式。

在現有技術中，通常是將用戶行為數據復制兩份，分別送往OLAP系統和離線分析系統。這樣在數據存儲空間以及維護成本上都比較高，因為是完全不同的兩套數據處理路徑，在保持數據一致性上也需要大量成本。對于使用數據分析系統的分析人員，也需要同時在兩套系統中切換，增加了使用成本。

發明內容

本申請實施例提供了一種多數據源的數據分析系統、方法及設備，解決現有技術中數據存儲及使用成本過高，維護性差的問題。

有鑒于此，本申請第一方面提供了一種多數據源的數據分析系統，所述系統包括：

數據拆分單元，用于將從產品中獲取的數據拆分成用戶數據和用戶行為數據；

數據存儲單元，用于存儲所述用戶數據和所述用戶行為數據；

所述數據存儲單元包括低速寫入存儲單元和高速寫入存儲單元，所述低速寫入存儲單元用于存儲所述用戶數據，所述高速寫入存儲單元用于存儲所述用戶行為數據；

查詢引擎單元，用于訪問所述低速寫入存儲單元和所述高速寫入存儲單元，獲取所述用戶數據和所述用戶行為數據，并將獲取到的所述用戶數據和所述用戶行為數據傳輸至OLAP系統或者離線分析系統。

優選地，可視化操作單元，用于為操作人員提供可操作界面，并顯示OLAP系統或者離線分析系統的分析結果。

優選地，所述查詢引擎單元還用于獲取可視化操作單元的操作指令，根據操作指令從所述數據存儲單元中獲取所述用戶數據和/或所述用戶行為數據，并將所述用戶數據和/或所述用戶行為數據傳輸至OLAP系統或者離線分析系統。

優選地，所述查詢引擎單元包括指令生成單元；

所述指令生成單元用于根據所述操作指令生成統一數據訪問指令，所述統一數據訪問指令為OLAP系統或者離線分析系統調用所述用戶數據和/或所述用戶行為數據的指令。

優選地，所述用戶數據包括用戶的身份信息，標簽信息，所述用戶行為數據包括用戶的行為數據。

本申請第二方面提供一種多數據源的數據分析方法，所述方法包括：

獲取分析產品功能的操作指令；

根據所述操作指令選用所需的OLAP系統或者離線分析系統；