[發明專利]基于大數據的數據分析方法、裝置、設備及可讀存儲介質

有效

• 申請號: 201911366572.0
• 申請日: 2019-12-26
• 公開（公告）號: CN111177220B
• 公開（公告）日: 2022-07-15
• 發明（設計）人: 方木鑫
• 申請（專利權）人: 中國平安財產保險股份有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/28;G06F16/22;G06K9/62;G06Q40/08
• 代理公司: 北京市京大律師事務所 11321
• 代理人: 劉挽瀾

本發明涉及人工智能技術領域，公開了一種基于大數據的數據分析方法，包括以下步驟：對數據結果表中的初始數據進行抽取并進行合并，得到合并表，以及通過數據抽取工具Sqoop將合并表導入大數據平臺；通過大數據平臺對預處理數據結果表中的預處理數據進行數據清洗，得到分攤結果數據表；對分攤結果數據表進行拆分，得到拆分數據結果表集合并導入分布式內存實時分析系統Druid，得到分析結果集，若偏差值大于或等于預設閾值，則通過決策樹對初始數據進行挖掘，得到挖掘結果。本發明還公開了一種基于大數據的數據分析裝置、設備及計算機可讀存儲介質。本發明提供的基于大數據的數據分析方法提高了數據分析的效率。

技術領域

本發明涉及人工智能技術領域，尤其涉及一種基于大數據的數據分析方法、裝置、設備及計算機可讀存儲介質。

背景技術

目前，隨著數據量的增加，傳統的數據分析工具很難對大數據場景下海量的數據進行有效分析，因此在對多維度、大批量的數據進行分析時，往往會消耗較多的時間。如何提高數據分析的效率,是目前本技術領域技術人員亟待解決的技術問題。

發明內容

本發明的主要目的在于提供一種基于大數據的數據分析方法、裝置、設備及計算機可讀存儲介質，旨在解決數據分析效率較低的技術問題。

為實現上述目的，本發明提供一種基于大數據的數據分析方法，所述基于大數據的數據分析方法包括以下步驟：

通過預置存儲方式將數據結果表存儲于預置數據庫oracle集中，所述預置數據庫oracle集中包括多個預置數據庫oracle，所述數據結果表中存儲有初始數據；

通過關聯規則算法對所述數據結果表中的初始數據進行抽取，得到預處理數據結果表；

通過HIVE的連接算法join將所述預處理數據結果表進行合并，得到合并表，以及通過數據抽取工具Sqoop將所述合并表導入大數據平臺；

通過所述大數據平臺對所述預處理數據結果表中的預處理數據進行數據清洗，得到分攤結果數據表；

按照預置數據量對所述分攤結果數據表進行拆分，得到拆分數據結果表集合；

將所述拆分數據結果表集合中的拆分數據結果表以多任務多并發的形式同步導入分布式內存實時分析系統Druid，以及通過所述Druid對所述拆分數據結果表中的數據進行分析，得到由多個或單個維度的分析結果組成的分析結果集合；

判斷是否存在獲取分析結果的請求；

若存在獲取分析結果的請求，則通過聯機分析處理技術對所述分析結果集合進行分析，輸出分析結果；

若不存在獲取分析結果的請求，則繼續執行所述判斷是否存在獲取分析結果的請求的步驟；

通過方差公式計算所述分析結果與預置期望值之間的偏差值；

判斷所述偏差值是否大于或等于預設閾值；

若所述偏差值大于或等于預設閾值，則通過決策樹對初始數據進行挖掘，得到挖掘結果，若否，則不處理。

可選地，所述通過預置存儲方式將數據結果表存儲于預置數據庫oracle集中，所述預置數據庫oracle集中包括多個預置數據庫oracle，所述數據結果表中存儲有初始數據包括以下步驟：

基于數據結果表中的初始數據以及維度，構造數據立方體并對所述數據立方體填充初始數據；

按照預置層級對所述數據立方體進行分區，得到多個子數據立方體；

將所述多個子數據立方體分別保存到預置數據庫oracle集中，所述預置數據庫oracle集中包括多個預置數據庫oracle。