[發明專利]一種基于GAQN-ASTFT-IDKPCA的運動過程視聽信息融合方法

在審

• 申請號: 202010974725.6
• 申請日: 2020-09-16
• 公開（公告）號: CN112085116A
• 公開（公告）日: 2020-12-15
• 發明（設計）人: 王松;胡燕祝;陳茜穎
• 申請（專利權）人: 北京郵電大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/12;G10L25/18;G10L25/21;G10L25/30;G10L25/39
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.本發明涉及一種基于GAQN-ASTFT-IDKPCA的運動過程視聽信息融合方法，其特征在于：確定視覺信息與分布式光纖信號聽覺信息的映射關系，構建神經網絡GA模型，確定染色體編碼長度，確定適應函數，確定產生的新個體，確定融合信息的STFT變換，確定融合信息的頻譜特征，確定高維特征空間協方差矩陣，確定矩陣的特征值和特征向量，具體包括以下八個步驟：

步驟一：確定視覺信息與分布式光纖信號聽覺信息的映射關系X_i,j：

選擇圖像的像素值和像素值所在的位置作為圖像映射的特征，選擇分布式光纖信號聽覺信息的振幅和頻率作為聽覺信息的維度，則視覺信息與聽覺信息的映射關系為；

式中，X_i,j為圖像第i行第j列的聽覺信息模式，g_i,j為圖像的像素值，r為圖像像素總列數，f_j為第j列的像素點的頻率，t決定了聽覺信息的持續時間，其中，

步驟二：構建神經網絡GA模型，確定染色體編碼長度L；

L＝(m+n)×s+n+s；

式中，m為輸入層神經元數，s為隱含層神經元數，n為輸出層神經元數；

步驟三：確定適應函數f；

初始化種群，隨機確定一定數目染色體個體組成的初始種群，式中，E為網絡訓練總誤差，若種群中的E達到了用戶指定精度的個體或達到最大次數則結束，選取最大適應度作為迭代結果，否則，采用輪盤賭選擇方式從當前種群中選擇染色體，并遺傳復制到下一代；

步驟四：將種群中的個體進行交叉，確定產生的新個體X；

式中，X₁和X₂為交叉前的個體，X′₁和X′₂為交叉后的新個體，α為權重參數，以交叉概率P_c對其進行算術交叉，將交叉后的每一個新個體，用某一范圍內均勻分布的隨機數，以變異概率P_m替換個體編碼串中各個基因座上的原有值，從而產生新的個體，將產生的個體作為擬牛頓法的初值進行精確尋找，當擬牛頓法尋找結束后，判斷得到的結果是否符合預期，若符合，則作為結果輸出，若不符合，則繼續使用GA算法進行迭代，直至得到最優的分布式視覺信息和分布式光纖信息融合結果；

步驟五：確定融合信息X的STFT變換；

式中，X_t(t,f,d)為融合信息的頻域變換，t是數據點，f為頻率，d為時頻分辨力，X_t(τ)為τ時刻的融合信息，Aω^*(τ-t,d)為窗口類型、窗口長度、滑動步長和時頻分辨力的函數；

步驟六：確定融合信息X的頻譜特征T；

融合信息X的頻譜能量E為；

同時，計算融合信息的X功率譜并統計峰值p及對應頻率f、方差s²、期望等頻譜特征，從而獲得頻譜特征向量

步驟七：確定高維特征空間協方差矩陣C；

式中，C為高維特征空間協方差矩陣，m為頻譜特征向量T的維數，φ(T_i)為非線性映射核函數；

步驟八：確定矩陣C的特征值λ_i和特征向量p_i；

Cp_i＝λ_ip_i；

根據上式，求出矩陣C的特征向量p_i，得到特征空間的主元方向，然后將特征值按照從大到小的順序排序，根據累積貢獻率大小選取主元個數，組成特征向量矩陣，計算各數據向量到中心向量的馬氏距離，判斷數據間的相似度，選擇相似度近似的向量，從而實現KPCA特征向量降維。