[發(fā)明專利]一種基于GAQN-ASTFT-IDKPCA的運(yùn)動過程視聽信息融合方法

在審

• 申請?zhí)枺?/td>: 202010974725.6
• 申請日: 2020-09-16
• 公開（公告）號: CN112085116A
• 公開（公告）日: 2020-12-15
• 發(fā)明（設(shè)計）人: 王松;胡燕祝;陳茜穎
• 申請（專利權(quán)）人: 北京郵電大學(xué)
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/12;G10L25/18;G10L25/21;G10L25/30;G10L25/39
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明涉及基于GAQN?ASTFT?IDKPCA的運(yùn)動過程視聽信息融合方法，是一種對機(jī)器人運(yùn)動過程中分布式視覺信息和聽覺信息進(jìn)行融合的方法，屬于分布式光纖與信息融合領(lǐng)域，其特征在于采用如下步驟：(1)確定視覺信息與聽覺信息的映射關(guān)系；(2)確定染色體編碼長度；(3)確定適應(yīng)函數(shù)；(4)確定產(chǎn)生的新個體；(5)確定融合信息的STFT變換；(6)確定融合信息的頻譜特征；(7)確定高維特征空間協(xié)方差矩陣；(8)確定矩陣的特征值和特征向量。本發(fā)明充分考慮視覺信息和聽覺信息疊加帶來的選取權(quán)值較難的問題，通過對利用GAQN算法融合后的視聽信息進(jìn)行頻域分析，獲取其頻譜數(shù)據(jù)，根據(jù)IDKPCA算法進(jìn)行降維處理，最終實現(xiàn)全分布式視聽信息融合。

技術(shù)領(lǐng)域

本發(fā)明涉及分布式光纖與信息融合領(lǐng)域，主要是一種對機(jī)器人運(yùn)動過程中分布式視覺信息和聽覺信息進(jìn)行融合的方法。

背景技術(shù)

目前，感知信息融合技術(shù)在目標(biāo)追蹤領(lǐng)域具有廣泛的應(yīng)用性，感知信息主要包括視覺信息和聽覺信息，現(xiàn)有信息大多局限于圖像或視頻格式的視覺信息，而像分布式光纖振動形式的聽覺信息未能被綜合利用起來。視覺信息和聽覺信息均存在著各自的局限性，將兩者信息融合起來，克服二者獨(dú)立存在的缺陷，從而獲取全面的外界信息。因此對分布式視聽信息的融合成為研究問題的關(guān)鍵。常見的視聽信息融合方法主要是先對視覺信息進(jìn)行可聽化處理，使其和分布式聽覺信息具有相同的數(shù)據(jù)結(jié)構(gòu)，在這個過程中，大多采用對空間域圖像像素灰度以及像素位置進(jìn)行映射的方法，但是該方法所獲取映射結(jié)果的準(zhǔn)確性及實時性容易受到圖像內(nèi)容復(fù)雜度的影響，局限性較大。在傳統(tǒng)的視聽信息融合過程中通常采用決策級融合算法，由于提取特征過程中經(jīng)過似然度計算和大量的人工處理，其結(jié)果并不能真實反映視聽結(jié)果的特征。

視聽信息融合作為眾多領(lǐng)域研究的熱點(diǎn)，各界學(xué)者已經(jīng)對其進(jìn)行了相對較多的理論研究，其在無人機(jī)的偵察、機(jī)器人運(yùn)動監(jiān)測以及現(xiàn)代化的機(jī)電設(shè)備穩(wěn)定工作方面均有很好的應(yīng)用價值，本設(shè)計以機(jī)器人運(yùn)動過程視聽信息融合為背景，進(jìn)行該設(shè)計的探究與實驗。隨著科技的進(jìn)步以及國防軍事的發(fā)展，對分布式視聽感知信息的融合效果提出了更高的要求。因此，要保證圖像可聽化的準(zhǔn)確性以及視聽信息融合的實時性，必須建立一種高效的分布式視聽信息融合豐富，從而有效減少感知信息融合時間，為目標(biāo)領(lǐng)域的應(yīng)用提供精確有效的融合信息。

發(fā)明內(nèi)容

針對上述現(xiàn)有技術(shù)中存在的問題，本發(fā)明要解決的技術(shù)問題是提供一種基于GAQN-ASTFT-IDKPCA的運(yùn)動過程視聽信息融合方法，其具體流程如圖1所示。

技術(shù)方案實施步驟如下：

(1)確定視覺信息與分布式光纖信號聽覺信息的映射關(guān)系X_i,j：

選擇圖像的像素值和像素值所在的位置作為圖像映射的特征，選擇分布式光纖信號聽覺信息的振幅和頻率作為聽覺信息的維度，則視覺信息與聽覺信息的映射關(guān)系為：

式中，X_i,j為圖像第i行第j列的聽覺信息模式，g_i,j為圖像的像素值，r為圖像像素總列數(shù)，f_j為第j列的像素點(diǎn)的頻率，t決定了聽覺信息的持續(xù)時間，其中，

(2)構(gòu)建神經(jīng)網(wǎng)絡(luò)GA模型，確定染色體編碼長度L：

L＝(m+n)×s+n+s

式中，m為輸入層神經(jīng)元數(shù)，s為隱含層神經(jīng)元數(shù)，n為輸出層神經(jīng)元數(shù)。

(3)確定適應(yīng)函數(shù)f：

初始化種群，隨機(jī)確定一定數(shù)目染色體個體組成的初始種群。式中，E為網(wǎng)絡(luò)訓(xùn)練總誤差。若種群中的E達(dá)到了用戶指定精度的個體或達(dá)到最大次數(shù)則結(jié)束，選取最大適應(yīng)度作為迭代結(jié)果，否則，采用輪盤賭選擇方式從當(dāng)前種群中選擇染色體，并遺傳復(fù)制到下一代。