[發(fā)明專利]一種基于圖像式中間態(tài)的多模態(tài)數(shù)據(jù)融合決策方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202210913815.3
• 申請(qǐng)日: 2022-08-01
• 公開（公告）號(hào): CN115393678A
• 公開（公告）日: 2022-11-25
• 發(fā)明（設(shè)計(jì)）人: 楊晨;王潁超;蘭舒琳;祝烈煌
• 申請(qǐng)（專利權(quán)）人: 北京理工大學(xué);中國(guó)科學(xué)院大學(xué)
• 主分類號(hào): G06V10/80
• 分類號(hào): G06V10/80;G06V10/82;G06F40/216;G06N3/04;G06N3/08;G06V10/30;G06V10/774
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于圖像式中間態(tài)的多模態(tài)數(shù)據(jù)融合決策方法，包括以下步驟：

確定決策任務(wù)涉及的多模態(tài)數(shù)據(jù)；

設(shè)計(jì)多模態(tài)數(shù)據(jù)統(tǒng)一轉(zhuǎn)換為圖像模態(tài)數(shù)據(jù)的方法；

面向任務(wù)獲取多模態(tài)樣本數(shù)據(jù)，并統(tǒng)一為圖像模態(tài)以構(gòu)造訓(xùn)練集和測(cè)試集；

基于訓(xùn)練集和測(cè)試集，設(shè)計(jì)和訓(xùn)練融合注意力機(jī)制的多通道深度神經(jīng)網(wǎng)絡(luò)；

采集用于決策的多模態(tài)數(shù)據(jù)，并統(tǒng)一為圖像模態(tài)以構(gòu)造決策數(shù)據(jù)集；

將決策數(shù)據(jù)集輸入多通道深度神經(jīng)網(wǎng)絡(luò)進(jìn)行特征自適應(yīng)提取與融合決策。

2.根據(jù)權(quán)利要求1所述方法，其特征在于，確定決策任務(wù)涉及的多模態(tài)數(shù)據(jù)，包括：

面向決策任務(wù)需求，結(jié)合實(shí)際場(chǎng)景條件，綜合考慮數(shù)據(jù)可獲得性、可用性、可靠性，確定用于決策任務(wù)的多模態(tài)數(shù)據(jù)，可選的多模態(tài)數(shù)據(jù)包括日志/文檔等文本數(shù)據(jù)、振動(dòng)信號(hào)/聲信號(hào)/電流信號(hào)等信號(hào)數(shù)據(jù)、RGB圖像/RGB-D圖像/紅外圖像等圖像數(shù)據(jù)、視頻數(shù)據(jù)等。

3.根據(jù)權(quán)利要求1所述方法，其特征在于，設(shè)計(jì)多模態(tài)數(shù)據(jù)統(tǒng)一轉(zhuǎn)換為圖像模態(tài)數(shù)據(jù)的方法，包括：

對(duì)多模態(tài)數(shù)據(jù)進(jìn)行預(yù)處理；

將預(yù)處理后的多模態(tài)數(shù)據(jù)轉(zhuǎn)換為圖像模態(tài)數(shù)據(jù)。

4.根據(jù)權(quán)利要求3所述方法，其特征在于，對(duì)多模態(tài)數(shù)據(jù)進(jìn)行預(yù)處理，包括：

可選的，對(duì)于文本數(shù)據(jù)，在一種可實(shí)現(xiàn)方式中，使用正則清洗文本數(shù)據(jù)，剔除臟數(shù)據(jù)和進(jìn)行指定條件的數(shù)據(jù)篩選；

可選的，對(duì)于時(shí)域信號(hào)數(shù)據(jù)，在一種可實(shí)現(xiàn)方式中，利用小波分解進(jìn)行降噪處理；

可選的，對(duì)于圖像和視頻數(shù)據(jù)，在一種可實(shí)現(xiàn)方式中，利用濾波器進(jìn)行降噪處理。

5.根據(jù)權(quán)利要求3所述方法，其特征在于，將預(yù)處理后的多模態(tài)數(shù)據(jù)轉(zhuǎn)換為圖像模態(tài)數(shù)據(jù)，包括：

可選的，對(duì)于文本數(shù)據(jù)，在一種可實(shí)現(xiàn)方式中，統(tǒng)計(jì)文本中詞頻數(shù)據(jù)，將文本數(shù)據(jù)轉(zhuǎn)換為一維詞頻數(shù)據(jù)，并將一維詞頻數(shù)據(jù)歸一化為灰度值，排列為二維矩陣以轉(zhuǎn)換為灰度圖像；

可選的，對(duì)于信號(hào)數(shù)據(jù)，在一種可實(shí)現(xiàn)方式中，通過傅里葉變換從預(yù)處理后的時(shí)域信號(hào)數(shù)據(jù)中獲取頻域信息，將所述時(shí)域信號(hào)數(shù)據(jù)與頻域數(shù)據(jù)歸一化為灰度值，并排列為二維矩陣以轉(zhuǎn)換成灰度圖像；在一種可實(shí)現(xiàn)方式中，通過短時(shí)傅里葉變換或小波變換或S變換等時(shí)頻分析方法，將預(yù)處理后的時(shí)域信號(hào)數(shù)據(jù)轉(zhuǎn)換為二維時(shí)頻圖；

可選的，對(duì)于視頻數(shù)據(jù)，在一種可實(shí)現(xiàn)方式中，從預(yù)處理后的視頻數(shù)據(jù)中提取關(guān)鍵幀；在一種可實(shí)現(xiàn)方式中，從預(yù)處理后的視頻數(shù)據(jù)中提取二維光流場(chǎng)圖。

6.根據(jù)權(quán)利要求1所述方法，其特征在于，面向任務(wù)獲取多模態(tài)樣本數(shù)據(jù)，并統(tǒng)一為圖像模態(tài)以構(gòu)造訓(xùn)練集和測(cè)試集，包括：

在同一時(shí)間段內(nèi)，面向同一對(duì)象或場(chǎng)景，采集決策任務(wù)涉及的多模態(tài)樣本數(shù)據(jù)；

基于上述多模態(tài)數(shù)據(jù)統(tǒng)一轉(zhuǎn)換為圖像模態(tài)數(shù)據(jù)的方法，將采集的多模態(tài)樣本數(shù)據(jù)統(tǒng)一為圖像模態(tài)數(shù)據(jù)；

對(duì)統(tǒng)一之后的圖像模態(tài)數(shù)據(jù)集進(jìn)行標(biāo)注，并將其劃分為訓(xùn)練集和測(cè)試集。

7.根據(jù)權(quán)利要求1所述方法，其特征在于，基于訓(xùn)練集和測(cè)試集，設(shè)計(jì)和訓(xùn)練融合注意力機(jī)制的多通道深度神經(jīng)網(wǎng)絡(luò)，包括：

設(shè)計(jì)融合注意力機(jī)制的多通道深度神經(jīng)網(wǎng)絡(luò)，注意力機(jī)制包括通道注意力機(jī)制和空間注意力機(jī)制；

基于訓(xùn)練集和測(cè)試集，對(duì)融合注意力機(jī)制的多通道深度神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練和調(diào)整。

8.根據(jù)權(quán)利要求1所述方法，其特征在于，采集用于決策的多模態(tài)數(shù)據(jù)，并統(tǒng)一為圖像模態(tài)以構(gòu)造決策數(shù)據(jù)集，包括：

在同一時(shí)間段內(nèi)，面向同一對(duì)象或場(chǎng)景，采集待決策的多模態(tài)數(shù)據(jù)；

基于上述多模態(tài)數(shù)據(jù)統(tǒng)一轉(zhuǎn)換為圖像模態(tài)數(shù)據(jù)的方法，將采集的多模態(tài)數(shù)據(jù)統(tǒng)一為圖像模態(tài)數(shù)據(jù)，組成決策數(shù)據(jù)集。

9.根據(jù)權(quán)利要求1所述方法，其特征在于，將決策數(shù)據(jù)集輸入多通道深度神經(jīng)網(wǎng)絡(luò)進(jìn)行特征自適應(yīng)提取與融合決策，包括：

將統(tǒng)一為圖像模態(tài)的決策數(shù)據(jù)集輸入已訓(xùn)練好的融合注意力機(jī)制的多通道深度神經(jīng)網(wǎng)絡(luò)進(jìn)行特征自適應(yīng)提取與決策，輸出決策結(jié)果。