[發明專利]基于深寬度聯合神經網絡的多模態數據知識信息提取方法

有效

• 申請號: 202110278271.3
• 申請日: 2021-03-12
• 公開（公告）號: CN113361559B
• 公開（公告）日: 2023-10-17
• 發明（設計）人: 劉雨晨;余志文;楊楷翔;施一帆;陳俊龍
• 申請（專利權）人: 華南理工大學
• 主分類號: G06F18/25
• 分類號: G06F18/25;G06F18/15;G06F18/214;G06F18/2415;G06N3/0455;G06N3/047;G06N3/048;G06N3/084;G06N3/088;G06F16/182
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 何淑珍;江裕強

1.基于深寬度聯合神經網絡的多模態數據知識信息提取方法，其特征在于：包括以下步驟：

1)收集人員對智能制造工廠所產生的多模態數據，對數據進行預處理，將處理后的數據樣本進行存儲；

2)對原始多模態數據進行細分建表，分別將多模態數據處理成單模態數據特征表；

3)利用深寬度聯合網絡對多模態數據特征表進行特征提取，得到對應的高層抽象特征知識，從而實現對多模態數據知識信息的提取。

2.根據權利要求1所述的一種基于深寬度聯合神經網絡的多模態數據知識信息提取方法，其特征在于：在步驟1)中，收集智能制造工廠系統在日常流水線中產生的多模態數據日志并進行數據清洗過濾處理，將處理后的數據樣本加載到以Kafka為基礎實現的分布式消息系統中，并將數據存儲到Hadoop分布式文件系統的存儲模塊中。

3.根據權利要求2所述的一種基于深寬度聯合神經網絡的多模態數據知識信息提取方法，其特征在于：在步驟2)中，存儲到分布式文件系統中的原始多模態數據每一行包括各種模態的數據記錄，將原始數據按照模態性質進行細分建表，分別將多模態數據處理成包括語音、文本、圖像的單模態數據特征表，并存儲到HIVE數據庫中。

4.根據權利要求3所述的一種基于深寬度聯合神經網絡的多模態數據知識信息提取方法，其特征在于：步驟3)具體包括以下步驟：

3.1)對每個單模態數據建立不同層次的深度降噪自動編碼網絡，利用隱藏層學習得到的抽象低維特征重構輸入數據；

3.2)將每個單模態數據由深度降噪自編碼網絡得到的抽象特征以不同的權值接入到上層的橋接層，并且不同模態的分支網絡對應的權值不同，各個單模態數據所對應的深度降噪自編碼網絡的權值最終會自適應調整到最適合當前知識發現的權重值；

3.3)對于k類分類任務、m個模態數據、n個樣本、橋接層的優化目標函數采用softmax分類器定義的損失函數來優化；

3.4)將所有模態的頂層輸出通過外積乘法進行相連，得到融合后的語義特征空間作為上層寬度網絡的多模態融合層R^m，融合公式為：

其中，Z₁至Z_m分別表示各模態對應的分支網絡的最上層重構后的輸入特征，代表外積算子；

3.5)將寬度網絡特征層各個模態的輸入分別再進行非線性映射從而使得模態特征映射到增強模態空間中，得到的增強模態特征將被concat合并起來作為寬度網絡的增強模態層；

3.6)將上述步驟得到的最上層寬度網絡的特征層、多模態融合層及增強模態層進行合并作為深寬度聯合網絡的輸入，利用寬度網絡求偽逆的訓練方式對上層寬度網絡進行訓練。