[發明專利]基于偽彩色時頻圖像及卷積網絡的環境聲音識別方法

有效

• 申請號: 202011299987.3
• 申請日: 2020-11-18
• 公開（公告）號: CN112652326B
• 公開（公告）日: 2023-07-04
• 發明（設計）人: 王靖宇;張彥華;蘇雨;張科;王霰禹;王林;馬振宇;謝方園;王紅梅
• 申請（專利權）人: 西北工業大學
• 主分類號: G10L25/30
• 分類號: G10L25/30;G10L21/0216;G10L21/0232;G06F18/24;G06F18/21;G06N3/0464;G06N3/08
• 代理公司: 西安凱多思知識產權代理事務所(普通合伙) 61290
• 代理人: 康進興

1.一種基于偽彩色時頻圖像及深度卷積神經網絡的魯棒環境聲音信號識別方法，其特征在于，包括以下步驟：

步驟1：計算模態數為K時各模態信號u_k及相應的中心頻率ω_k：

其中，f表示輸入的聲音信號，n表示迭代次數，τ為噪聲容限，λ為拉格朗日乘子，ζ為無約束變分問題，{}表示集合；

步驟2：計算相鄰模態信號中心頻率的差分值

D_k＝ω_k+1(t)-ω_k(t)?k＝1,...,K-1?(4)

λ_k＝D_k+1/D_k?k＝1,...,K-2?(5)

其中，D_k為中心頻率差值，λ_k中心頻率差分值；

步驟3；確定最優分解個數K

滿足終止條件時，最優分解個數K_best＝K-1；

步驟4去除噪聲分量后計算各模態信號的時頻分布：

其中，h(τ)為高斯核函數，表示對頻率的二維卷積，imf_n為第n個模態分量信號，pwvd_n(t,f)為第n個IMF的PWVD時頻圖；

步驟5重構得到灰度時頻圖

步驟6引入閾值并進行歸一化

PWVD(t,f)＝max[PWVD(t,f)-max(PWVD),-80dB]?(9)

步驟7非線性變換得到偽彩色時頻圖

M_c(f,t)＝h_c(G(t,f))?c＝red,green,blue?(11)

其中，M_c(f,t)為第c個單色圖像，h_c為第c個單色圖像的非線性映射函數；灰度圖映射到hsv偽彩色時頻圖的三個通道所對應的非線性變換為：

參數{l₂,l₁,u₁,u₂}在三個通道下的值分別為：

得到偽彩色時頻圖后，利用Lancazos(a＝3)插值算法將時頻圖像大小調整為512×512；

步驟8：構建深度卷積神經網絡。

2.如權利要求1所述的一種基于偽彩色時頻圖像及深度卷積神經網絡的魯棒環境聲音信號識別方法，其特征在于，所述步驟1中，

ζ公式及迭代終止條件為：

其中，α為二次懲罰因子，δ(t)為單位脈沖函數，j為虛數，*表示卷積運算，e為收斂條件，表示對t求偏導。

3.如權利要求1所述的一種基于偽彩色時頻圖像及深度卷積神經網絡的魯棒環境聲音信號識別方法，其特征在于，所述步驟8中，神經網絡共包含26層，其中包含7層卷積層，9層激活層，7層池化層，3層全連接層，深度卷積神經網絡的輸入為尺寸為512×512的RGB三通道彩色圖像，每一層卷積層都加入了ReLU激活函數和批標準化。