[發(fā)明專利]一種基于圖像式中間態(tài)的多模態(tài)數(shù)據(jù)融合決策方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202210913815.3
• 申請(qǐng)日: 2022-08-01
• 公開(kāi)（公告）號(hào): CN115393678A
• 公開(kāi)（公告）日: 2022-11-25
• 發(fā)明（設(shè)計(jì)）人: 楊晨;王潁超;蘭舒琳;祝烈煌
• 申請(qǐng)（專利權(quán)）人: 北京理工大學(xué);中國(guó)科學(xué)院大學(xué)
• 主分類號(hào): G06V10/80
• 分類號(hào): G06V10/80;G06V10/82;G06F40/216;G06N3/04;G06N3/08;G06V10/30;G06V10/774
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

本發(fā)明公開(kāi)了一種基于圖像式中間態(tài)的多模態(tài)數(shù)據(jù)融合決策方法，包括確定決策任務(wù)涉及的多模態(tài)數(shù)據(jù)；設(shè)計(jì)多模態(tài)數(shù)據(jù)統(tǒng)一轉(zhuǎn)換為圖像模態(tài)數(shù)據(jù)的方法；面向決策任務(wù)獲取多模態(tài)樣本數(shù)據(jù)，并統(tǒng)一為圖像模態(tài)以構(gòu)造訓(xùn)練集和測(cè)試集；基于訓(xùn)練集和測(cè)試集，訓(xùn)練融合注意力機(jī)制的多通道深度神經(jīng)網(wǎng)絡(luò)；采集用于決策的多模態(tài)數(shù)據(jù)，并統(tǒng)一轉(zhuǎn)換為圖像模態(tài)以構(gòu)造決策數(shù)據(jù)集；將決策數(shù)據(jù)集輸入多通道深度神經(jīng)網(wǎng)絡(luò)進(jìn)行特征自適應(yīng)提取與融合決策。本發(fā)明既避免了多特征提取模型導(dǎo)致的復(fù)雜網(wǎng)絡(luò)設(shè)計(jì)和大量參數(shù)尋優(yōu)問(wèn)題，又可方便地、僅使用一個(gè)硬件加速設(shè)備來(lái)完成快速的神經(jīng)網(wǎng)絡(luò)計(jì)算；增強(qiáng)深度神經(jīng)網(wǎng)絡(luò)各通道提取特征的交互性和互補(bǔ)性；減少冗余特征的輸入。

技術(shù)領(lǐng)域

本發(fā)明涉及一種多模態(tài)信息融合決策的實(shí)現(xiàn)方法。更具體地，本發(fā)明涉及適應(yīng)于文本、信號(hào)、圖像、視頻等多模態(tài)信息融合決策的實(shí)現(xiàn)方法。

背景技術(shù)

以離散制造車(chē)間為例，多模態(tài)感知數(shù)據(jù)來(lái)自數(shù)控加工中心、傳感器、執(zhí)行器等，包括文本、信號(hào)、圖像、視頻等，蘊(yùn)含了不同維度和視角的豐富信息，通過(guò)相互之間支持、補(bǔ)充、修正，即多模態(tài)信息融合，能提供更加全面準(zhǔn)確的車(chē)間運(yùn)行狀態(tài)信息，以支持車(chē)間故障診斷、質(zhì)量檢測(cè)、壽命預(yù)測(cè)等業(yè)務(wù)需求。

對(duì)于多模態(tài)信息融合問(wèn)題，因多模態(tài)數(shù)據(jù)具有完全不同的描述形式和復(fù)雜的耦合對(duì)應(yīng)關(guān)系，無(wú)法直接進(jìn)行數(shù)據(jù)級(jí)融合，通常可以采用“先提取單模態(tài)特征，后在特征級(jí)融合”的方法。在特征提取階段，傳統(tǒng)的特征工程方法需要領(lǐng)域的先驗(yàn)信息和專業(yè)知識(shí)才能設(shè)計(jì)出合適的特征表示方法，并且提取的特征多是淺層特征，針對(duì)復(fù)雜決策問(wèn)題其泛化能力受到一定制約。基于深度學(xué)習(xí)的方法則可以實(shí)現(xiàn)特征的自動(dòng)提取。但由于數(shù)據(jù)模態(tài)不同，需要針對(duì)性設(shè)計(jì)相應(yīng)的神經(jīng)網(wǎng)絡(luò)模型，導(dǎo)致較為復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)和大量參數(shù)尋優(yōu)問(wèn)題，且需要多個(gè)硬件加速器對(duì)神經(jīng)網(wǎng)絡(luò)推理進(jìn)行加速，成本高。在特征融合階段，常用方法包括加權(quán)、張量積等，雖然操作簡(jiǎn)單，但不能實(shí)現(xiàn)各模態(tài)特征的元素間靈活交互，且無(wú)法衡量各模態(tài)信息對(duì)目標(biāo)任務(wù)的重要程度，造成冗余和噪聲特征輸入，導(dǎo)致目前在車(chē)間故障診斷、質(zhì)量檢測(cè)、壽命預(yù)測(cè)等決策業(yè)務(wù)上精確度不高。

針對(duì)上述問(wèn)題，結(jié)合深度學(xué)習(xí)強(qiáng)大的特征提取特點(diǎn)，迫切需要一種簡(jiǎn)單、高效的多模態(tài)信息特征自適應(yīng)提取與融合方法，以促進(jìn)故障診斷、質(zhì)量檢測(cè)、壽命預(yù)測(cè)等任務(wù)精度的提高。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種基于圖像式中間態(tài)的多模態(tài)數(shù)據(jù)融合決策方法，以通過(guò)多模態(tài)信息支持車(chē)間故障診斷、質(zhì)量檢測(cè)、壽命預(yù)測(cè)等決策任務(wù)。

一種基于圖像式中間態(tài)的多模態(tài)數(shù)據(jù)融合決策方法，該方法包括以下步驟：

確定決策任務(wù)涉及的多模態(tài)數(shù)據(jù)；

設(shè)計(jì)多模態(tài)數(shù)據(jù)統(tǒng)一轉(zhuǎn)換為圖像模態(tài)數(shù)據(jù)的方法；

面向任務(wù)獲取多模態(tài)樣本數(shù)據(jù)，并統(tǒng)一為圖像模態(tài)以構(gòu)造訓(xùn)練集和測(cè)試集；

基于訓(xùn)練集和測(cè)試集，設(shè)計(jì)和訓(xùn)練融合注意力機(jī)制的多通道深度神經(jīng)網(wǎng)絡(luò)；

采集用于決策的多模態(tài)數(shù)據(jù)，并統(tǒng)一為圖像模態(tài)以構(gòu)造決策數(shù)據(jù)集；

將決策數(shù)據(jù)集輸入多通道深度神經(jīng)網(wǎng)絡(luò)進(jìn)行特征自適應(yīng)提取與融合決策。

進(jìn)一步地，確定決策任務(wù)涉及的多模態(tài)數(shù)據(jù)，包括：

面向決策任務(wù)需求，結(jié)合實(shí)際場(chǎng)景條件，綜合考慮數(shù)據(jù)可獲得性、可用性、可靠性，確定用于決策任務(wù)的多模態(tài)數(shù)據(jù)，可選的多模態(tài)數(shù)據(jù)包括日志/文檔等文本數(shù)據(jù)、振動(dòng)信號(hào)/聲信號(hào)/電流信號(hào)等信號(hào)數(shù)據(jù)、RGB圖像/RGB-D圖像/紅外圖像等圖像數(shù)據(jù)、視頻數(shù)據(jù)等。

進(jìn)一步地，設(shè)計(jì)多模態(tài)數(shù)據(jù)統(tǒng)一轉(zhuǎn)換為圖像模態(tài)數(shù)據(jù)的方法，包括：

對(duì)多模態(tài)數(shù)據(jù)進(jìn)行預(yù)處理，包括：

可選的，對(duì)于文本數(shù)據(jù)，在一種可實(shí)現(xiàn)方式中，使用正則清洗文本數(shù)據(jù)，剔除臟數(shù)據(jù)和進(jìn)行指定條件的數(shù)據(jù)篩選；