[發明專利]一種基于深度脈沖神經網絡的樂器聲音識別方法及系統

有效

• 申請號: 202010572964.9
• 申請日: 2020-06-22
• 公開（公告）號: CN111724796B
• 公開（公告）日: 2023-01-13
• 發明（設計）人: 唐華錦;文湘蘭;潘綱
• 申請（專利權）人: 之江實驗室;浙江大學
• 主分類號: G10L17/04
• 分類號: G10L17/04;G10L17/26;G06N3/04;G06N3/08
• 代理公司: 北京方圓嘉禾知識產權代理有限公司 11385
• 代理人: 馮靜

本發明涉及一種基于深度脈沖神經網絡的樂器聲音識別方法及系統，屬于聲音識別技術領域，方法包括：構建訓練數據集；根據泄漏集成點火模型的膜電壓變化的特性構造變化電阻；根據變化電阻構建具有變化電阻的泄漏集成點火模型；構建基于變化電阻的深度脈沖神經網絡模型；模型中各神經元均采用具有變化電阻的泄漏集成點火模型作為神經元模型；利用訓練數據集對基于變化電阻的深度脈沖神經網絡模型進行訓練和優化，得到訓練和優化后的基于變化電阻的深度脈沖神經網絡模型；將待識別的樂器聲音脈沖序列輸入訓練和優化后的基于變化電阻的深度脈沖神經網絡模型，確定發出待識別的樂器聲音的樂器名稱。該方法及系統在樂器識別上具有更高的識別精度。

技術領域

本發明涉及聲音識別技術領域，特別是涉及一種基于深度脈沖神經網絡的樂器聲音識別方法及系統。

背景技術

現在的深度神經網絡主要是基于BP(BackPaprogation，反向傳播)算法實現的，而深度脈沖神經網絡的反向傳播需要在時間和空間中同時進行，即時空反向傳播，由于點火函數不可微，無法進行求導計算，因此反向傳播無法準確計算出來。2018年，Wu等人提出了STBP算法，該算法構建了一個迭代的LIF(Leaky Integrate-and-Fire，泄漏集成點火)模型，同時考慮了訓練階段的時間和空間關系，利用近似的點火函數導數進行時空反向傳播。該方法可以在不利用訓練技巧的情況下，同時在靜態MNIST和動態NMNIST的數據集上取得良好性能。同年，Sumit等人通過對點火函數導數的分析，將其近似為高斯概率函數，基于SRM(Spike Response Model，脈沖響應)模型，在空間和時間上同時利用了反向傳播方法進行信用分配，來進行權值調整。該方法在DVS(Dynamic Vision System，動態視覺系統)上取得了優秀的性能。2019年，Gu等人在STBP的基礎上進行研究，提出了一個迭代的電流LIF模型，同時提出脈沖簇的概念，利用脈沖簇的方法來定義損失函數，再結合近似的點火函數導數，在時空上進行反向傳播，該方法在MINIST數據集上取得了良好的性能，同時結合脈沖編碼方法，在樂器聲音識別上也取得了好的性能。

但是，通過對生物準確的HH模型(Hodgkin–Huxley model，霍奇金-赫胥黎模型)和LIF模型的對比可以發現，LIF模型中的電阻是一個變量，而不是常量，因此，基于LIF模型的深度神經網絡缺少一定的生物準確性，同時精度還有提升的空間。

發明內容

本發明的目的是提供一種基于深度脈沖神經網絡的樂器聲音識別方法及系統，采用具有變化電阻的泄漏集成點火模型作為深度脈沖神經網絡中神經元的模型，從而在樂器識別上具有更高的識別精度。

為實現上述目的，本發明提供了如下方案：

一種基于深度脈沖神經網絡的樂器聲音識別方法，包括：

構建訓練數據集；所述訓練數據集包括聲音脈沖序列和樂器名稱脈沖序列；

根據泄漏集成點火模型的膜電壓變化的特性構造變化電阻；

根據所述變化電阻構建具有變化電阻的泄漏集成點火模型；

構建基于變化電阻的深度脈沖神經網絡模型；所述基于變化電阻的深度脈沖神經網絡模型包括由多個輸入神經元組成的輸入層、由多個特征神經元組成的特征層以及由多個樂器神經元組成的識別層；所述輸入神經元、所述特征神經元和所述樂器神經元均采用所述具有變化電阻的泄漏集成點火模型作為神經元模型；

利用所述訓練數據集對所述基于變化電阻的深度脈沖神經網絡模型進行訓練和優化，得到訓練和優化后的基于變化電阻的深度脈沖神經網絡模型；所述訓練和優化后的基于變化電阻的深度脈沖神經網絡模型的輸出為樂器名稱；

對待識別的樂器聲音進行脈沖編碼，得到待識別的樂器聲音脈沖序列；

將所述待識別的樂器聲音脈沖序列輸入所述訓練和優化后的基于變化電阻的深度脈沖神經網絡模型，確定發出所述待識別的樂器聲音的樂器名稱。