[發明專利]一種面向智能制造多模態數據的分類方法

有效

• 申請號: 202110146422.X
• 申請日: 2021-02-03
• 公開（公告）號: CN112784919B
• 公開（公告）日: 2023-09-05
• 發明（設計）人: 黎志豪;余志文;楊楷翔;孟獻兵;陳俊龍
• 申請（專利權）人: 華南理工大學
• 主分類號: G06F18/2415
• 分類號: G06F18/2415;G06F18/25;G06F18/15;G06N3/0455;G06N3/047;G06N3/048;G06N3/084;G06N3/0985;G06F16/215;G06F16/27;G06F16/28;G06F16/182;G06F16/35;G0
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 馮炳輝

本發明公開了一種面向智能制造多模態數據的分類方法，包括步驟：1)收集和清洗生產數據日志，獲取多模態數據；2)對多模態數據按其數據組成形式進行劃分，并進行相應的預處理；3)對預處理后的多模態數據進行特征提取與特征融合，對融合后的特征進行分類。本發明通過對多模態數據進行預處理，結合自編碼器和嵌入處理方式提取數據表層特征和挖掘數據深層特征，基于在線學習的方式，利用全連接前饋深度神經網絡對數據進行實時分類及結果展示，有效提高了多模態數據分類的準確率及提升了AUC指標。

技術領域

本發明涉及計算機人工智能領域，尤其是指一種面向智能制造多模態數據的分類方法。

背景技術

隨著工業4.0時代的到來和人工智能的飛速發展，許多傳統工業行業以及新興的醫藥制藥行業的生產制造也開始走向智能化。而在智能制造大數據時代下，在工業生產、制藥生產過程中，會產生大量結構復雜、難以分析的制造數據。如何從這些海量多模態生產數據中挖掘其背后的隱藏價值，對其進行有效分類，是現階段智能制造研究領域的重點發展方向。針對當前智能制造多模態數據兼容性差、可拓展性低、模態不均衡性高、維度屬性高等特點，如何保障數據的一致性、準確性、完整性和可靠性，并提高多模態數據處理的實時性、兼容性和可拓展性，是解決對智能制造多模態數據進行高效分類的關鍵所在。

發明內容

本發明的目的在于面向智能制造多模態數據，提出了一種面向智能制造多模態數據的分類方法，可有效解決多模態數據特征處理過于繁瑣的缺點，已達到自動提取特征來提高數據分類的準確率及提升AUC指標。

為實現上述目的，本發明所提供的技術方案為：一種面向智能制造多模態數據的分類方法，包括以下步驟：

1)收集和清洗生產數據日志，獲取多模態數據；

2)對多模態數據按其數據組成形式進行劃分，并進行相應的預處理；

3)對預處理后的多模態數據進行特征提取與特征融合，對融合后的特征進行分類。

在步驟1)中，所述收集和清洗生產數據日志，獲取多模態數據是指對智能制造生產平臺的數據日志進行收集，并對其中的異常數據和噪聲數據進行篩選過濾；所述異常數據是指針對生產日志的所有記錄，在給定的時間片里，對數據在某些變量維度下的取值超出合理范圍，或者數據不服從3σ原則下的正態分布，會將這些數據視為不合理、異常的；所述噪聲數據是指智能制造生產平臺在收集日志時因網絡故障、數據樣本缺失、時間戳偏差以及數據基礎特征缺失的不正常因素而導致某些樣本數據與正常樣本數據的差異大于閾值，那么這些數據就會被視為噪聲數據；上述異常數據和噪聲數據會在數據清洗階段被篩選過濾，將篩選過濾后的數據樣本保存到以分布式文件系統HDFS為實現基礎的存儲模塊中，并創建相應的Hive數據庫表，得到原始的多模態數據。

在步驟2)中，對多模態數據按其數據組成形式進行劃分，并進行相應的預處理是指服務器利用預處理層對不同形式數據采用不同的方法進行預處理，得到適用于后續處理的多模態數據，包括如下步驟：

2.1)對多模態數據按數據組成形式進行劃分，分為圖像類數據、文本類數據和數值型數據；

2.2)對步驟2.1)獲得的圖像類數據，獲取其像素值矩陣并進行標準化預處理：

式中，所有原始圖像數據的像素矩陣集合表示為n₁表示原始圖像數據的數目，a_u表示第u個原始圖像數據的像素矩陣，其中u取值范圍為1到n₁；μ_A表示所有的原始圖像數據的像素矩陣的均值；σ_A表示所有的原始圖像數據的像素矩陣的標準差；表示第u個原始圖像數據經過標準化處理后得到的像素矩陣；

當每個原始圖像數據都完成標準化處理后，將得到的標準化像素矩陣替換掉對應的原始圖像數據的像素矩陣，即得到預處理后的圖像數據集合為