[發(fā)明專利]一種數(shù)據(jù)分析引擎的數(shù)據(jù)探索方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202011381625.9
• 申請日: 2020-11-30
• 公開（公告）號: CN112579582A
• 公開（公告）日: 2021-03-30
• 發(fā)明（設(shè)計）人: 張濤;雷厚宇;楊啟帆;陸葦;黃紀萍;陶心萬;江波
• 申請（專利權(quán)）人: 貴州力創(chuàng)科技發(fā)展有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/2458;G06F16/951
• 代理公司: 北京輕創(chuàng)知識產(chǎn)權(quán)代理有限公司 11212
• 代理人: 厲洋洋

本發(fā)明涉及一種數(shù)據(jù)分析引擎的數(shù)據(jù)探索方法及系統(tǒng)，其方法包括，采集外部大數(shù)據(jù)并對外部大數(shù)據(jù)進行清理和結(jié)構(gòu)化處理，得到結(jié)構(gòu)化數(shù)據(jù)集；對結(jié)構(gòu)化數(shù)據(jù)集中的結(jié)構(gòu)化數(shù)據(jù)進行特征化，得到每個結(jié)構(gòu)化數(shù)據(jù)的特征值，并形成特征值集合；基于深度學習數(shù)據(jù)模型對特征值集合進行數(shù)據(jù)探索，得到數(shù)據(jù)探索結(jié)果。本發(fā)明在數(shù)據(jù)采集階段先進行一次數(shù)據(jù)清洗，然后在數(shù)據(jù)特征階段又進行一次數(shù)據(jù)過濾，將無法進行數(shù)據(jù)探索的無用數(shù)據(jù)排除，避免無用數(shù)據(jù)占據(jù)數(shù)據(jù)探索時間，提高數(shù)據(jù)探索效率；在數(shù)據(jù)探索之前，先進行數(shù)據(jù)結(jié)構(gòu)化，再進行數(shù)據(jù)特征化，使得數(shù)據(jù)特征容易識別，利用反向探索使正向探索的權(quán)值收斂，增加數(shù)據(jù)探索的精度。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)探索領(lǐng)域，具體涉及一種數(shù)據(jù)分析引擎的數(shù)據(jù)探索方法及系統(tǒng)。

背景技術(shù)

數(shù)據(jù)探索一般指探索性數(shù)據(jù)分析。隨著大數(shù)據(jù)的發(fā)展，數(shù)據(jù)分析的難度和復雜度在不斷增加。豐富的數(shù)據(jù)量蘊含著大量的寶貴信息，但這樣的數(shù)據(jù)需要復雜的統(tǒng)計分析探索，才能從中提取到有意義的結(jié)果。現(xiàn)有的數(shù)據(jù)探索方法過于保守，導致數(shù)據(jù)探索的精度差強人意，且面對大量的數(shù)據(jù)，其探索效率也無法滿足現(xiàn)實要求。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問題是提供一種數(shù)據(jù)分析引擎的數(shù)據(jù)探索方法及系統(tǒng)，可以提供數(shù)據(jù)探索效率和數(shù)據(jù)探索精度。

本發(fā)明解決上述技術(shù)問題的技術(shù)方案如下：一種數(shù)據(jù)分析引擎的數(shù)據(jù)探索方法，包括以下步驟，

S1，采集外部大數(shù)據(jù)并對所述外部大數(shù)據(jù)進行清理和結(jié)構(gòu)化處理，得到結(jié)構(gòu)化數(shù)據(jù)集；

S2，對所述結(jié)構(gòu)化數(shù)據(jù)集中的結(jié)構(gòu)化數(shù)據(jù)進行特征化，得到每個結(jié)構(gòu)化數(shù)據(jù)的特征值，并形成特征值集合；

S3，基于深度學習數(shù)據(jù)模型對所述特征值集合進行數(shù)據(jù)探索，得到數(shù)據(jù)探索結(jié)果。

在上述技術(shù)方案的基礎(chǔ)上，本發(fā)明還可以做如下改進。

進一步，在所述S1中，采用數(shù)據(jù)爬蟲采集所述外部大數(shù)據(jù)并對所述外部大數(shù)據(jù)進行清理和結(jié)構(gòu)化處理，所述數(shù)據(jù)爬蟲內(nèi)鑲嵌有數(shù)據(jù)爬取組件、數(shù)據(jù)清理組件和數(shù)據(jù)結(jié)構(gòu)化組件；所述S1具體為，利用所述數(shù)據(jù)爬取組件采集外部大數(shù)據(jù)，并利用所述數(shù)據(jù)清理組件清理所述外部大數(shù)據(jù)，且利用數(shù)據(jù)結(jié)構(gòu)化組件對清理后的所述外部大數(shù)據(jù)進行結(jié)構(gòu)化，得到結(jié)構(gòu)化數(shù)據(jù)集。

進一步，所述結(jié)構(gòu)化數(shù)據(jù)集中的每個結(jié)構(gòu)化數(shù)據(jù)均包括X、Y和Z三個維度的結(jié)構(gòu)特征；所述S2具體為，

S21，基于預設(shè)的特征化粒度計算所述結(jié)構(gòu)化數(shù)據(jù)X、Y和Z三個維度的結(jié)構(gòu)特征分別對應的特征化驅(qū)動值；

S22，根據(jù)所述結(jié)構(gòu)化數(shù)據(jù)X、Y和Z三個維度的結(jié)構(gòu)特征分別對應的特征化驅(qū)動值對所述結(jié)構(gòu)化數(shù)據(jù)X、Y和Z三個維度的結(jié)構(gòu)特征進行正向特征化，得到所述結(jié)構(gòu)化數(shù)據(jù)X、Y和Z三個維度的第一特征值；根據(jù)所述結(jié)構(gòu)化數(shù)據(jù)X、Y和Z三個維度的結(jié)構(gòu)特征分別對應的特征化驅(qū)動值對所述結(jié)構(gòu)化數(shù)據(jù)X、Y和Z三個維度的結(jié)構(gòu)特征進行反向特征化，得到所述結(jié)構(gòu)化數(shù)據(jù)X、Y和Z三個維度的第二特征值；

S23，判斷所述第一特征值與所述第二特征值在X、Y和Z三個維度是否對應匹配；若匹配，則將所述第一特征值與所述第二特征值在X、Y和Z三個維度上的平均值作為所述結(jié)構(gòu)化數(shù)據(jù)在X、Y和Z三個維度的最終特征值；若不匹配，則將所述結(jié)構(gòu)化數(shù)據(jù)過濾掉。

進一步，所述深度學習數(shù)據(jù)模型具體為卷積神經(jīng)網(wǎng)絡(luò)模型；所述S3具體為，

S31，將所述結(jié)構(gòu)化數(shù)據(jù)在X、Y和Z三個維度的最終特征值輸入到所述卷積神經(jīng)網(wǎng)絡(luò)模型中，并在正卷積和反卷積處理的過程中依據(jù)探索權(quán)值進行正向探索，輸出一維正向探索向量；

S32，將所述一維正向探索向量與預設(shè)正向探索向量進行作差處理，計算出正向探索損失向量；