[發明專利]基于大數據的數據分析方法、裝置、設備及可讀存儲介質

有效

• 申請號: 201911366572.0
• 申請日: 2019-12-26
• 公開（公告）號: CN111177220B
• 公開（公告）日: 2022-07-15
• 發明（設計）人: 方木鑫
• 申請（專利權）人: 中國平安財產保險股份有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/28;G06F16/22;G06K9/62;G06Q40/08
• 代理公司: 北京市京大律師事務所 11321
• 代理人: 劉挽瀾

1.一種基于大數據的數據分析方法，其特征在于，所述基于大數據的數據分析方法包括以下步驟：

通過預置存儲方式將數據結果表存儲于預置數據庫oracle集中，所述預置數據庫oracle集中包括多個預置數據庫oracle，所述數據結果表中存儲有初始數據；

通過關聯規則算法對所述數據結果表中的初始數據進行抽取，得到預處理數據結果表；

通過HIVE的連接算法join將所述預處理數據結果表進行合并，得到合并表，以及通過數據抽取工具Sqoop將所述合并表導入大數據平臺；

通過所述大數據平臺對所述預處理數據結果表中的預處理數據進行數據清洗，得到分攤結果數據表；

按照預置數據量對所述分攤結果數據表進行拆分，得到拆分數據結果表集合；

將所述拆分數據結果表集合中的拆分數據結果表以多任務多并發的形式同步導入分布式內存實時分析系統Druid，以及通過所述Druid對所述拆分數據結果表中的數據進行分析，得到由多個或單個維度的分析結果組成的分析結果集合；

判斷是否存在獲取分析結果的請求；

若存在獲取分析結果的請求，則通過聯機分析處理技術對所述分析結果集合進行分析，輸出分析結果；

若不存在獲取分析結果的請求，則繼續執行所述判斷是否存在獲取分析結果的請求的步驟；

通過方差公式計算所述分析結果與預置期望值之間的偏差值；

判斷所述偏差值是否大于或等于預設閾值；

若所述偏差值大于或等于預設閾值，則通過決策樹對初始數據進行挖掘，得到挖掘結果。

2.如權利要求1所述的基于大數據的數據分析方法，其特征在于，所述通過預置存儲方式將數據結果表存儲于預置數據庫oracle集中，所述預置數據庫oracle集中包括多個預置數據庫oracle，所述數據結果表中存儲有初始數據包括以下步驟：

基于數據結果表中的初始數據以及維度，構造數據立方體并對所述數據立方體填充初始數據；

按照預置層級對所述數據立方體進行分區，得到多個子數據立方體；

將所述多個子數據立方體分別保存到預置數據庫oracle集中，所述預置數據庫oracle集中包括多個預置數據庫oracle。

3.如權利要求2所述的基于大數據的數據分析方法，其特征在于，所述基于數據結果表中的初始數據以及所述維度，構造數據立方體并對所述數據立方體填充初始數據包括以下步驟：

通過公式V＝S*a對數據結果表中的初始數據進行維度分攤，得到維度，所述V為分攤后數據的維度，S為所述數據結果表中的初始數據，a為分攤因子；

基于所述維度與所述數據結果表中的初始數據，構建維表；

根據所述維表，構造事實表；

通過關聯算法計算所述維表和所述事實表之間關聯關系，基于所述關聯關系構造星型模型；

根據所述星型模型，構建數據立方體。

4.如權利要求1所述的基于大數據的數據分析方法，其特征在于，在所述通過預置存儲方式將數據結果表存儲于預置數據庫oracle集中，所述預置數據庫oracle集中包括多個預置數據庫oracle，所述數據結果表中存儲有初始數據的步驟之前，還包括以下步驟：

通過預先標注好的訓練樣本訓練初始決策樹；

將預置分析結果輸入所述初始決策樹，輸出初始挖掘結果；

判斷所述初始挖掘結果的正確率是否滿足預置正確率；

若所述初始挖掘結果的正確率滿足預置正確率，則得到決策樹模型，若所述初始挖掘結果的正確率不滿足預置正確率，則繼續執行通過預先標注好的訓練樣本訓練初始決策樹的步驟。

5.如權利要求1所述的基于大數據的數據分析方法，其特征在于，所述通過關聯規則算法對所述數據結果表中的初始數據進行抽取，得到預處理數據結果表包括以下步驟：

對數據結果表中的預置數據挖掘頻繁項集，得到關聯規則；

基于所述關聯規則對所述數據結果表中的初始數據進行抽取，得到抽取數據，判斷所述抽取數據中是否存在數值型初始數據；

若所述抽取數據中存在所述數值型初始數據，則通過排序算法對所述數值型初始數據進行排序，得到預處理數據結果表。