[發明專利]一種基于多源異構數據處理的工業大數據分析系統

在審

• 申請號: 202111004498.5
• 申請日: 2021-08-30
• 公開（公告）號: CN113449326A
• 公開（公告）日: 2021-09-28
• 發明（設計）人: 王鸝輝;徐海杰;盧濤
• 申請（專利權）人: 北京博睿天揚科技有限公司
• 主分類號: G06F21/60
• 分類號: G06F21/60;G06F16/215;G06F16/28
• 代理公司: 北京睿博行遠知識產權代理有限公司 11297
• 代理人: 申超平

本發明涉及一種基于多源異構數據處理的工業大數據分析系統，其特征在于，包括，數據采集模塊、數據加密模塊、數據接收模塊、數據存儲模塊以及數據分析模塊；數據采集模塊，用以采集工業生產的數據信息；數據加密模塊，用以將采集的數據信息進行加密傳輸；數據接收模塊，用以接收經過加密的數據信息，數據存儲模塊，用以存儲經過數據接收模塊處理的數據信息；數據分析模塊，構建人工智能模型對數據存儲模塊存儲的數據信息進行分析以得到工業生產過程中的預警預測信息、問題信息以及生產能力信息，通過本發明可以更加有效的對工業數據進行分析以使得到的預警預測信息、問題信息以及生產能力信息更加準確，進一步地提升了系統的分析能力。

技術領域

本發明涉及數據處理技術領域，尤其涉及一種基于多源異構數據處理的工業大數據分析系統。

背景技術

隨著信息技術快速發展，各行業大力推動信息化建設。經過幾年發展，企業內部先后建成了各類特定業務相關的信息化系統。由于建設上的多樣性，例如實現技術多樣性、存儲設備不同、數據存儲方式多樣性等導致存儲大量異構。業務相關數據具有以下特點：數據異構型，包括結構化和非結構化；數據多態性，靜態數據和動態數據；數據離散型，數據分布在不同的系統中；數據量大，每天都有新數據產生。

目前基于工業數據的分析和應用集中在對數據的統計、分析，采用的方法也是比較基礎的統計分析方法，比如計算均值、中位數等，將這些結果進行業務決策參考，現有的工業大數據分析系統中的數據清洗方式為，將獲取到的數據首先統一發送到服務器端，再經過繁重的程序編碼工作，由服務器端根據預設的數據清洗規則對不同類型的數據進行清洗，這種數據清洗方式效率低下，增加了數據清洗的難度。

發明內容

為此，本發明提供一種基于多源異構數據處理的工業大數據分析系統，用以克服現有技術中數據清洗方式效率低下，增加了數據清洗的難度的問題。

為實現上述目的，本發明提供一種基于多源異構數據處理的工業大數據分析系統，包括，

數據采集模塊，用以采集工業生產的數據信息；

數據加密模塊，其與所述數據采集模塊相連，用以將采集的數據信息進行加密傳輸；

數據接收模塊，其與所述數據加密模塊相連，用以接收經過加密的數據信息，數據接收模塊包括用以對接收的數據進行清洗的數據清洗單元和用以對清洗后的數據進行分類的數據分類單元；

數據存儲模塊，其與所述數據接收模塊相連，用以存儲經過數據接收模塊處理的數據信息；

數據分析模塊，其與所述數據存儲模塊相連，用以構建人工智能模型對數據存儲模塊存儲的數據信息進行分析以得到工業生產過程中的預警預測信息、問題信息以及生產能力信息；

所述數據分析模塊在進行數據分析時，所述數據清洗單元獲取工業數據信息、將數據信息數量記為Wi并將第i條數據信息字符長度記為Li，其中，i為正整數，所述數據清洗單元預設有標準數據信息字符長度L，在進行數據清洗時，所述數據清洗單元依次將各條數據信息長度與標準數據信息字符長度L作比對并根據比對結果刪除數據信息冗長的數據和數據信息簡短的數據；

所述數據清洗單元還設置有標準關鍵詞字符長度N0，在依次對各條數據信息進行數據清洗時，所述數據清洗單元將第i條數據信息字符長度Li與標準關鍵詞字符長度N0作比對，若Li＜N0，所述數據清洗單元判定該條數據信息內不含有關鍵詞信息，若Li≥N0，所述數據清洗單元判定該條數據信息內含有關鍵詞信息，比對完成后，所述數據清理單元刪除不含有關鍵詞的數據信息。

進一步地，所述數據清洗單元預設有標準數據信息字符長度L，包括，第一標準數據信息字符長度L1和第二標準數據信息字符長度L2，在進行數據清洗時，所述數據清洗單元將每條數據信息字符長度Li與標準數據信息字符長度L作比對，其中L1＜L2；

當Li＜L1時，所述數據清洗單元判定該數據信息字符長度簡短并對該數據信息進行刪除；

當L1≤Li≤L2時，所述數據清洗單元判定該數據信息長度符合標準；