[發(fā)明專(zhuān)利]一種基于BMFCC-GBFB-DNN的機(jī)電設(shè)備視聽(tīng)信息融合方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010974747.2
• 申請(qǐng)日: 2020-09-16
• 公開(kāi)（公告）號(hào): CN112101462B
• 公開(kāi)（公告）日: 2022-04-19
• 發(fā)明（設(shè)計(jì)）人: 王松;胡燕祝;徐小鳳
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京郵電大學(xué)
• 主分類(lèi)號(hào): G06K9/62
• 分類(lèi)號(hào): G06K9/62;G06V10/80;G06V10/82;G06N3/04;G10L17/18;G10L17/20
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

本發(fā)明涉及基于BMFCC?GBFB?DNN的機(jī)電設(shè)備視聽(tīng)信息融合方法，是一種對(duì)對(duì)現(xiàn)代化機(jī)電設(shè)備運(yùn)行過(guò)程中分布式視覺(jué)信息和聽(tīng)覺(jué)信息融合的方法，屬于目標(biāo)追蹤與神經(jīng)網(wǎng)絡(luò)領(lǐng)域，其特征在于采用如下步驟：(1)提取MFCC特征，確定聽(tīng)覺(jué)信息的F比；(2)確定MFCC參數(shù)加權(quán)后的表達(dá)式；(3)MFCC參數(shù)進(jìn)行主成分分析；(4)提取聽(tīng)覺(jué)信息的GBFB特征；(5)將卷積后結(jié)果分解為子塊矩陣；(6)圖像的可聽(tīng)化處理；(7)搭建DNN架構(gòu)。本發(fā)明利用BMFCC及GBFB提取聽(tīng)覺(jué)信息特征，極大地提高了特征的代表性和噪聲的魯棒性。利用DNN神經(jīng)網(wǎng)絡(luò)對(duì)視聽(tīng)信息融合，一定程度上提高了內(nèi)容的豐富性以及融合的實(shí)時(shí)性。這說(shuō)明本算法在機(jī)電設(shè)備視聽(tīng)信息融合時(shí)，能達(dá)到很好的效果。

技術(shù)領(lǐng)域

本發(fā)明涉及目標(biāo)追蹤與神經(jīng)網(wǎng)絡(luò)領(lǐng)域，主要是一種對(duì)現(xiàn)代化機(jī)電設(shè)備運(yùn)行過(guò)程中分布式視覺(jué)信息和聽(tīng)覺(jué)信息融合的方法。

背景技術(shù)

目前，感知信息融合技術(shù)在目標(biāo)追蹤領(lǐng)域具有廣泛的應(yīng)用性，因此對(duì)機(jī)電設(shè)備視聽(tīng)信息融合的研究成為研究熱點(diǎn)。現(xiàn)有的信息大多局限于圖像或視頻格式的視覺(jué)信息，聽(tīng)覺(jué)信息并沒(méi)有被很好的利用起來(lái)。將兩者信息融合起來(lái)，克服視覺(jué)和聽(tīng)覺(jué)信息獨(dú)立存在的缺陷，獲取全面的信息成為研究問(wèn)題的關(guān)鍵。常見(jiàn)的將視覺(jué)信息可聽(tīng)化多是對(duì)空間域圖像像素灰度以及像素位置進(jìn)行映射，其映射結(jié)果的準(zhǔn)確性及實(shí)時(shí)性隨圖像內(nèi)容復(fù)雜度的影響。傳統(tǒng)的視聽(tīng)信息融合通常采用決策級(jí)融合算法，因?yàn)樘崛√卣鬟^(guò)程中經(jīng)過(guò)似然度計(jì)算和大量的人工處理，其結(jié)果并不能真實(shí)反映視聽(tīng)結(jié)果的特征。

作為現(xiàn)代眾多領(lǐng)域研究的熱點(diǎn)，視聽(tīng)信息融合已經(jīng)達(dá)到了成熟的階段，本設(shè)計(jì)在已存在的成功算法基礎(chǔ)上，結(jié)合眾多算法的優(yōu)點(diǎn)，進(jìn)行算法的改善。提出的聽(tīng)覺(jué)信息特征的提取，有很好的抗噪性，對(duì)噪聲具有很好的魯棒性。視聽(tīng)信息特征級(jí)融合將視聽(tīng)信號(hào)特征融合形成特征矢量，一定程度上提高了內(nèi)容的豐富性以及融合的實(shí)時(shí)性。特征提取的代表性，圖像可聽(tīng)化的準(zhǔn)確性，視聽(tīng)信息融合的實(shí)時(shí)性，要求我們建立一種高效的算法，實(shí)現(xiàn)機(jī)電設(shè)備視聽(tīng)信息的提取及融合過(guò)程在穩(wěn)定性的基礎(chǔ)上提高效率，有效減少算法時(shí)間，為目標(biāo)領(lǐng)域的應(yīng)用提供精確有效的融合信息，促進(jìn)現(xiàn)代經(jīng)濟(jì)的現(xiàn)代化發(fā)展，保障國(guó)防事業(yè)的安全。

發(fā)明內(nèi)容

針對(duì)上述現(xiàn)有技術(shù)中存在的問(wèn)題，本發(fā)明要解決的技術(shù)問(wèn)題是提供一種基于BMFCC-GBFB-DNN的機(jī)電設(shè)備視聽(tīng)信息融合方法，其具體流程如圖1所示。

技術(shù)方案實(shí)施步驟如下：

(1)提取MFCC特征，確定分布式光纖信號(hào)聽(tīng)覺(jué)信息的F比F(k)：

式中，F(xiàn)_between(k)為第k維分量均值的方差，F(xiàn)_within(k)為第k維分量的方差之和。

(2)確定MFCC參數(shù)加權(quán)后的表達(dá)式C(n)：

首先，根據(jù)F比圖特點(diǎn)，假設(shè)加權(quán)系數(shù)表達(dá)式為：

c_i＝a+bsin(π·i/p)

式中，p為濾波器階數(shù)，i＝0,1,…,p-1，a為加權(quán)系數(shù)的靜態(tài)分量，b為加權(quán)系數(shù)的線(xiàn)性分量。根據(jù)經(jīng)驗(yàn)細(xì)化a,b值，確定MFCC參數(shù)加權(quán)后的表達(dá)式C(n)：

式中，M代表濾波器階數(shù)，m為對(duì)應(yīng)的分布式光纖聽(tīng)覺(jué)信息的幀數(shù)，s(m)為對(duì)應(yīng)于m幀的分布式光纖聽(tīng)覺(jué)信息。

(3)MFCC參數(shù)進(jìn)行主成分分析：

對(duì)加權(quán)處理過(guò)的特征分量求差分，ΔWMFCC為特征分量一階差分，Δ²WMFCC為特征分量二階差分。將三者組成一組特定維數(shù)的MFCC參數(shù)。

對(duì)得到的參數(shù)進(jìn)行PCA主成分分析，確定相關(guān)矩陣T：