[發明專利]基于深寬度聯合神經網絡的多模態數據知識信息提取方法

有效

• 申請號: 202110278271.3
• 申請日: 2021-03-12
• 公開（公告）號: CN113361559B
• 公開（公告）日: 2023-10-17
• 發明（設計）人: 劉雨晨;余志文;楊楷翔;施一帆;陳俊龍
• 申請（專利權）人: 華南理工大學
• 主分類號: G06F18/25
• 分類號: G06F18/25;G06F18/15;G06F18/214;G06F18/2415;G06N3/0455;G06N3/047;G06N3/048;G06N3/084;G06N3/088;G06F16/182
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 何淑珍;江裕強

本發明公開了一種基于深寬度聯合神經網絡的多模態數據知識信息提取方法，包括步驟：1)收集智能制造工廠生產所產生的多模態數據，進行數據清洗預處理后存儲至Hadoop分布式文件系統中；2)將存儲在HDFS中的原始數據日志記錄按模態性質進行細分建表，分別將多模態數據處理成單模態數據特征，包括語音，文本，圖像等單模態數據特征表等并存儲到HIVE數據庫中；3)利用深寬度聯合網絡對多模態數據特征表進行特征提取，得到對應的高層抽象特征知識，從而實現深寬度聯合網絡對多模態數據知識信息的提取。

技術領域

本發明涉及深度學習，寬度學習及多模態數據特征提取等技術領域，尤其 是指一種基于深寬度聯合神經網絡的多模態數據知識信息提取方法。

背景技術

互聯網技術高速發展，數字化產業鏈不斷深入變革，大數據時代應運而生。 云計算、人工智能等技術飛速增長，建立起了以大數據為核心的數字生態社會。 來自于現實世界各方面的多模態數據，在現有的技術水平下很難得到有效分析。 海量數據帶來的處理難度也大大提高。為了解決這些問題，亟待采用一種全新 的數據分析處理手段。運用最新AI技術融合來高效有效的處理多模態數據， 同時提供更靈活的個性化服務，洞察分析跨模態數據的語義信息，最大程度發 揮大數據價值，多模態數據的潛在價值將被真正激活。

當前，用于多模態數據的知識特征提取方法主要采用機器學習或者深度學習的方法來實現處理和理解多源模態信息的能力，但現有方法往往無法自適應實現 多個模態數據特征間的有效融合(李慧芳,趙蕾蕾,胡光政.一種基于多模態 融合深度學習的智能故障診斷方法,2018.)(仲崇亮.一種基于卷積神經網絡 的多模態特征融合方法及裝置,2019.)。多模態學習歷經多個發展階段目前已 經全面步入使用深度學習作為知識提取的主要手段，但傳統深度學習方法耗時 費力，尤其是應用在多模態數據領域中往往需要強大的計算資源，很難滿足工 業學術界的需要。然而近期提出的寬度學習為我們提供了另外一種快速有效的 學習方法，寬度學習可以在不失準確率的基礎上達到快速訓練模型的目的；而 深度學習可以通過多層神經網絡，通過有監督信息的反向更新權重來提取到更 具區分與代表性的特征。如何結合深度學習提取特征的強大能力與寬度學習快 速訓練的高效率，來設計一種新的用于提取多模態數據特征的有效方法成為了 一個關鍵問題。

發明內容

本發明的目的在于克服現有技術的不足，提出了一種基于深寬度聯合神經 網絡的多模態數據知識信息提取方法，首先收集多模態數據進行清洗過濾預處 理等；得到處理后的樣本后將其存儲至Hadoop分布式文件系統中并按各個模 態數據性質進行細分建立特征表；對每個單模態數據建立不同層次的深度降噪 自編碼機，利用隱藏層學習得到的抽象低維特征來重構輸入數據；在上層利用 輔助橋接優化層根據特定的損失函數進行進一步優化；最后利用最上層的寬度 網絡對多模態數據樣本進行預測。充分發揮了深度學習在提取模態數據特征中 自主學習高層抽象代表性特征的優勢以及寬度學習快速訓練模型參數達到模 型快速更新的能力以適應工業界的需要，從而提高了多模態數據領域特征提取 的有效性以及時效性。

本發明至少通過如下技術方案之一實現。

基于深寬度聯合神經網絡的多模態數據知識信息提取方法，包括以下步驟：

1)收集人員對智能制造工廠所產生的多模態數據，對數據進行預處理，將 處理后的數據樣本進行存儲；

2)對原始多模態數據進行細分建表，分別將多模態數據處理成單模態數據 特征表；

3)利用深寬度聯合網絡對多模態數據特征表進行特征提取，得到對應的高 層抽象特征知識，從而實現對多模態數據知識信息的提取。

優選的，在步驟1)中，收集智能制造工廠系統在日常流水線中產生的多 模態數據日志并進行數據清洗過濾處理，將處理后的數據樣本加載到以Kafka 為基礎實現的分布式消息系統中，并將數據存儲到Hadoop分布式文件系統的 存儲模塊中。