[發明專利]一種數據分析引擎的數據探索方法及系統

在審

• 申請號: 202011381625.9
• 申請日: 2020-11-30
• 公開（公告）號: CN112579582A
• 公開（公告）日: 2021-03-30
• 發明（設計）人: 張濤;雷厚宇;楊啟帆;陸葦;黃紀萍;陶心萬;江波
• 申請（專利權）人: 貴州力創科技發展有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/2458;G06F16/951
• 代理公司: 北京輕創知識產權代理有限公司 11212
• 代理人: 厲洋洋

1.一種數據分析引擎的數據探索方法，其特征在于：包括以下步驟，

S1，采集外部大數據并對所述外部大數據進行清理和結構化處理，得到結構化數據集；

S2，對所述結構化數據集中的結構化數據進行特征化，得到每個結構化數據的特征值，并形成特征值集合；

S3，基于深度學習數據模型對所述特征值集合進行數據探索，得到數據探索結果。

2.根據權利要求1所述的數據分析引擎的數據探索方法，其特征在于：在所述S1中，采用數據爬蟲采集所述外部大數據并對所述外部大數據進行清理和結構化處理，所述數據爬蟲內鑲嵌有數據爬取組件、數據清理組件和數據結構化組件；所述S1具體為，利用所述數據爬取組件采集外部大數據，并利用所述數據清理組件清理所述外部大數據，且利用數據結構化組件對清理后的所述外部大數據進行結構化，得到結構化數據集。

3.根據權利要求1或2所述的數據分析引擎的數據探索方法，其特征在于：所述結構化數據集中的每個結構化數據均包括X、Y和Z三個維度的結構特征；所述S2具體為，

S21，基于預設的特征化粒度計算所述結構化數據X、Y和Z三個維度的結構特征分別對應的特征化驅動值；

S22，根據所述結構化數據X、Y和Z三個維度的結構特征分別對應的特征化驅動值對所述結構化數據X、Y和Z三個維度的結構特征進行正向特征化，得到所述結構化數據X、Y和Z三個維度的第一特征值；根據所述結構化數據X、Y和Z三個維度的結構特征分別對應的特征化驅動值對所述結構化數據X、Y和Z三個維度的結構特征進行反向特征化，得到所述結構化數據X、Y和Z三個維度的第二特征值；

S23，判斷所述第一特征值與所述第二特征值在X、Y和Z三個維度是否對應匹配；若匹配，則將所述第一特征值與所述第二特征值在X、Y和Z三個維度上的平均值作為所述結構化數據在X、Y和Z三個維度的最終特征值；若不匹配，則將所述結構化數據過濾掉。

4.根據權利要求3所述的數據分析引擎的數據探索方法，其特征在于：所述深度學習數據模型具體為卷積神經網絡模型；所述S3具體為，

S31，將所述結構化數據在X、Y和Z三個維度的最終特征值輸入到所述卷積神經網絡模型中，并在正卷積和反卷積處理的過程中依據探索權值進行正向探索，輸出一維正向探索向量；

S32，將所述一維正向探索向量與預設正向探索向量進行作差處理，計算出正向探索損失向量；

S33，采用鏈式方式對所述正向探索損失向量進行反向探索來調整所述探索權值，并返回重復執行所述S31和所述S32，直至所述正向探索損失向量為零向量；

S34，將所述卷積神經網絡模型最終輸出的所述一維正向探索向量作為數據探索結果。

5.根據權利要求1或2或4所述的數據分析引擎的數據探索方法，其特征在于：在所述S3之后，還包括如下步驟，

S4，將所述數據探索結果進行多媒體化，并通過展示接口向用戶展示。

6.一種數據分析引擎的數據探索系統，其特征在于：包括以下模塊，

數據采集模塊，其用于采集外部大數據并對所述外部大數據進行清理和結構化處理，得到結構化數據集；

數據特征化模塊，其用于對所述結構化數據集中的結構化數據進行特征化，得到每個結構化數據的特征值，并形成特征值集合；

數據探索模塊，其用于基于深度學習數據模型對所述特征值集合進行數據探索，得到數據探索結果。

7.根據權利要求6所述的數據分析引擎的數據探索系統，其特征在于：在所述數據采集模塊中，采用數據爬蟲采集所述外部大數據并對所述外部大數據進行清理和結構化處理，所述數據爬蟲內鑲嵌有數據爬取組件、數據清理組件和數據結構化組件；所述數據采集模塊具體用于，

利用所述數據爬取組件采集外部大數據，并利用所述數據清理組件清理所述外部大數據，且利用數據結構化組件對清理后的所述外部大數據進行結構化，得到結構化數據集。