[發明專利]一種基于深度脈沖神經網絡的樂器聲音識別方法及系統

有效

• 申請號: 202010572964.9
• 申請日: 2020-06-22
• 公開（公告）號: CN111724796B
• 公開（公告）日: 2023-01-13
• 發明（設計）人: 唐華錦;文湘蘭;潘綱
• 申請（專利權）人: 之江實驗室;浙江大學
• 主分類號: G10L17/04
• 分類號: G10L17/04;G10L17/26;G06N3/04;G06N3/08
• 代理公司: 北京方圓嘉禾知識產權代理有限公司 11385
• 代理人: 馮靜

1.一種基于深度脈沖神經網絡的樂器聲音識別方法，其特征在于，包括：

構建訓練數據集；所述訓練數據集包括聲音脈沖序列和樂器名稱脈沖序列；

根據泄漏集成點火模型的膜電壓變化的特性構造變化電阻；

根據所述變化電阻構建具有變化電阻的泄漏集成點火模型；

構建基于變化電阻的深度脈沖神經網絡模型；所述基于變化電阻的深度脈沖神經網絡模型包括由多個輸入神經元組成的輸入層、由多個特征神經元組成的特征層以及由多個樂器神經元組成的識別層；所述輸入神經元、所述特征神經元和所述樂器神經元均采用所述具有變化電阻的泄漏集成點火模型作為神經元模型；

利用所述訓練數據集對所述基于變化電阻的深度脈沖神經網絡模型進行訓練和優化，得到訓練和優化后的基于變化電阻的深度脈沖神經網絡模型；所述訓練和優化后的基于變化電阻的深度脈沖神經網絡模型的輸出為樂器名稱；

對待識別的樂器聲音進行脈沖編碼，得到待識別的樂器聲音脈沖序列；

將所述待識別的樂器聲音脈沖序列輸入所述訓練和優化后的基于變化電阻的深度脈沖神經網絡模型，確定發出所述待識別的樂器聲音的樂器名稱；

所述根據泄漏集成點火模型的膜電壓變化的特性構造變化電阻，具體包括：根據公式構造變化電阻；式中，是一個常量，是時刻所述輸入神經元、所述特征神經元或所述樂器神經元的膜電壓，是脈沖閾值，是初始電阻；

所述根據所述變化電阻構建具有變化電阻的泄漏集成點火模型，具體包括：根據方程組構建具有變化電阻的泄漏集成點火模型；其中，為層神經元時刻的膜電壓，為所述聲音脈沖序列或所述樂器名稱脈沖序列引起的膜電壓變化，是膜衰減，是突觸衰減，是點火抑制量，為衰減常數，是所述聲音脈沖序列或所述樂器名稱脈沖序列，是點火函數，是歸一量，w為權值，N為最大層數。

2.根據權利要求1所述的基于深度脈沖神經網絡的樂器聲音識別方法，其特征在于，所述構建訓練數據集，具體包括：

獲取聲音數據以及所述聲音數據所屬的樂器名稱；

分別對所述聲音數據和所述樂器名稱進行脈沖編碼，得到聲音脈沖序列和樂器名稱脈沖序列。

3.根據權利要求1所述的基于深度脈沖神經網絡的樂器聲音識別方法，其特征在于，所述基于變化電阻的深度脈沖神經網絡模型，具體包括：

輸入層，由多個輸入神經元組成，所述輸入層用于獲取所述聲音脈沖序列；

特征層，由多個特征神經元組成，每個所述特征神經元分別代表一種特征，所述特征層與所述輸入層連接，所述特征層用于判斷所述聲音脈沖序列是否具有所述特征神經元所代表的特征；

識別層，由多個樂器神經元組成，每個所述樂器神經元分別代表一種樂器名稱，所述識別層與所述特征層連接，所述識別層用于根據所述聲音脈沖序列具有的特征確定所述聲音脈沖序列所屬的樂器名稱。

4.根據權利要求1所述的基于深度脈沖神經網絡的樂器聲音識別方法，其特征在于，所述利用所述訓練數據集對所述基于變化電阻的深度脈沖神經網絡模型進行訓練和優化，具體包括：

根據脈沖神經網絡的單層算法Tempotron，構造Tempotron-like損失函數；所述Tempotron-like損失函數為：；式中，，t^*是樂器神經元的膜電壓最大的時刻，N代表樂器神經元的序號，代表由可能到肯定的脈沖閾值，L代表深度脈沖神經網絡模型推測所述聲音脈沖序列所屬的樂器名稱的正確程度；

將所述訓練數據集輸入所述基于變化電阻的深度脈沖神經網絡模型中，根據所述Tempotron-like損失函數計算實際最大膜電壓與目標膜電壓的誤差，利用時空性的反向傳播算法將所述誤差通過各層膜電壓之間的時空關系分配到每層神經元的權值上，以調整深度脈沖神經網絡權值。