[發明專利]一種基于工業大數據的多源異構數據融合系統及方法

有效

• 申請號: 202110294350.3
• 申請日: 2021-03-19
• 公開（公告）號: CN112905580B
• 公開（公告）日: 2022-03-18
• 發明（設計）人: 楊靈運;文杰;王玉潔;鄧生雄;李琳
• 申請（專利權）人: 貴州航天云網科技有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/28;G06F16/25;G06N3/08;G06N3/04
• 代理公司: 重慶上義眾和專利代理事務所(普通合伙) 50225
• 代理人: 孫人鵬

本發明公開了一種基于工業大數據的多源異構數據融合系統及方法，屬于大數據處理技術領域，包括數據采集模塊、屬性分析模塊、服務器和儲存模塊；所述數據采集模塊用于從工業大數據中采集多源異構數據，通過數據采集模塊的設置，對采集到的多源異構數據進行清洗，由于獲取到的數據是最基本的原始數據，不僅結構多樣化而且還攜帶有很多冗余信息，因此需要對獲取到的數據進行清洗，將結構多樣、內容雜亂的數據清洗成統一標準格式的數據，并在清洗的過程中過濾掉冗余信息；通過第一分類單元的設置，對多源異構數據進行初步分類，再通過對分類后的數據進行去重，刪除不需要的數據，提高儲存空間使用率。

技術領域

本發明屬于大數據處理技術領域；具體是一種基于工業大數據的多源異構數據融合系統及方法。

背景技術

隨著信息技術快速發展，各行業大力推動信息化建設。經過幾年發展，企業內部先后建成了各類特定業務相關的信息化系統。由于建設上的多樣性，例如實現技術多樣性、存儲設備不同、數據存儲方式多樣性等導致存儲大量異構。業務相關數據具有以下特點：數據異構型，包括結構化和非結構化；數據多態性，靜態數據和動態數據；數據離散型，數據分布在不同的系統中；數據量大，每天都有新數據產生。不同業務部門產生的數據成為信息的“孤島”，不同業務部門很難實現數據共享，而現實中，各業務部門對數據共享需求越來越強烈，因此多源異構數據融合還是很有必要的。

發明內容

本發明的目的在于提供一種基于工業大數據的多源異構數據融合系統及方法，解決多源異構數據融合的問題。

本發明的目的可以通過以下技術方案實現：

一種基于工業大數據的多源異構數據融合系統，包括數據采集模塊、屬性分析模塊、服務器和儲存模塊；

所述數據采集模塊用于從工業大數據中采集多源異構數據，具體采集方法包括以下步驟：

步驟S11：建立多源異構數據的關鍵詞表，多源異構數據的關鍵詞表是由數據源確定的，數據源的關鍵詞包括數據源輸出的數據關鍵詞、數據源載體設備的關鍵詞；

步驟S12：獲取多源異構數據，設置預設標準格式，預設標準格式根據實際使用需求設定，包括結構化、非結構化以及半結構化的標準格式；

步驟S13：按照預設標準格式對獲取到的多源異構數據進行清洗，過濾掉冗余信息，多源異構數據清洗包括缺失值清洗、格式內容清洗以及邏輯錯誤清洗，將清洗后的多源異構數據標記為第一處理數據；

步驟S14：對多源異構數據的關鍵詞表進行分類，每類分為四級，包括第一級分類、第二級分類、第三級分類和第四級分類，第一級分類包含第二級分類，第二級分類包含第三級分類，第三級分類包含第四級分類；

所述屬性分析模塊用于對數據采集模塊采集到的多源異構數據進行分析，包括第一分類單元和第二分類單元。

進一步地，缺失值清洗方法具體包括以下步驟：

步驟S21：確定的缺失值范圍，計算每個字段的缺失值比例，根據缺失比例和字段重要性，分別制定策略；

步驟S22：刪除不需要的字段，根據業務知識和經驗推測填充缺失值；

步驟S23：當數據缺失量過多，錯誤率高時，重新獲取數據。

進一步地，所述第一分類單元的具體分類方法包括以下步驟：

步驟S31：獲取第一處理數據，將第一處理數據按照屬性和用途分為i級，其中i＝1、2、……、n，n為正整數，分級類別對照多源異構數據的關鍵詞表分類；

步驟S32：將分級后的第一處理數據標記為第二處理數據，將第二處理數據與多源異構數據的關鍵詞表分類進行逐級匹配，將匹配到的第二處理數據輸入到對應的關鍵詞表分類中；