[發明專利]一種基于工業大數據的多源異構數據融合系統及方法

有效

• 申請號: 202110294350.3
• 申請日: 2021-03-19
• 公開（公告）號: CN112905580B
• 公開（公告）日: 2022-03-18
• 發明（設計）人: 楊靈運;文杰;王玉潔;鄧生雄;李琳
• 申請（專利權）人: 貴州航天云網科技有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/28;G06F16/25;G06N3/08;G06N3/04
• 代理公司: 重慶上義眾和專利代理事務所(普通合伙) 50225
• 代理人: 孫人鵬

1.一種基于工業大數據的多源異構數據融合系統，其特征在于，包括數據采集模塊、屬性分析模塊、服務器和儲存模塊；

所述數據采集模塊用于從工業大數據中采集多源異構數據，具體采集方法包括以下步驟：

步驟S11：建立多源異構數據的關鍵詞表，多源異構數據的關鍵詞表是由數據源確定的，數據源的關鍵詞包括數據源輸出的數據關鍵詞、數據源載體設備的關鍵詞；

步驟S12：獲取多源異構數據，設置預設標準格式，預設標準格式根據實際使用需求設定，包括結構化、非結構化以及半結構化的標準格式；

步驟S13：按照預設標準格式對獲取到的多源異構數據進行清洗，過濾掉冗余信息，多源異構數據清洗包括缺失值清洗、格式內容清洗以及邏輯錯誤清洗，將清洗后的多源異構數據標記為第一處理數據；

步驟S14：對多源異構數據的關鍵詞表進行分類，每類分為四級，包括第一級分類、第二級分類、第三級分類和第四級分類，第一級分類包含第二級分類，第二級分類包含第三級分類，第三級分類包含第四級分類；

所述屬性分析模塊用于對數據采集模塊采集到的多源異構數據進行分析，包括第一分類單元和第二分類單元；

所述第一分類單元的具體分類方法包括以下步驟：

步驟S31：獲取第一處理數據，將第一處理數據按照屬性和用途分為i級，其中i＝1、2、……、n，n為正整數，分級類別對照多源異構數據的關鍵詞表分類；

步驟S32：將分級后的第一處理數據標記為第二處理數據，將第二處理數據與多源異構數據的關鍵詞表分類進行逐級匹配，將匹配到的第二處理數據輸入到對應的關鍵詞表分類中；

步驟S33：將輸入到對應關鍵詞表分類中的第二處理數據標記為第三處理數據，對第三處理數據進行去重化，將去重化后的第三處理數據標記為第四處理數據；

所述第二分類單元用于對第四處理數據進行分類，具體方法包括以下步驟：

步驟S51：設置數據用戶分類；

步驟S52：實時獲取第四處理數據的分級、第四處理數據的內容和第四處理數據的訪問日志，并將第四處理數據的分級、第四處理數據的內容和第四處理數據的訪問日志標記為輸入數據；

步驟S53：通過儲存模塊獲取歷史分類數據；歷史分類數據包括第四處理數據的分級、第四處理數據的內容和第四處理數據的訪問日志，以及對應的第四處理數據在數據用戶分類中的類別，并將第四處理數據在數據用戶分類中的類別標記為最終分類；

步驟S54：構建人工智能模型；所述人工智能模型至少包括誤差逆向傳播神經網絡、RBF神經網絡和深度卷積神經網絡中的一種，人工智能模型的輸出結果是最終分類；

步驟S55：將歷史分類數據和對應的輸出結果按照設定比例劃分為訓練集、測試集和校驗集；所述設定比例包括2：1：1、3：2：1和3：1：1；通過訓練集、測試集和校驗集對人工智能模型進行訓練、測試和校驗；將訓練完成的人工智能模型標記為預測模型；

步驟S56：將輸入數據輸入至預測模型獲取第四處理數據在數據用戶分類中的類別；

步驟S57：將第四處理數據對應輸入到數據用戶分類中。

2.根據權利要求1所述的一種基于工業大數據的多源異構數據融合系統，其特征在于，缺失值清洗方法具體包括以下步驟：

步驟S21：確定的缺失值范圍，計算每個字段的缺失值比例，根據缺失比例和字段重要性，分別制定策略；

步驟S22：刪除不需要的字段，根據業務知識和經驗推測填充缺失值；

步驟S23：當數據缺失量過多，錯誤率高時，重新獲取數據。