[發明專利]一種輔助聾人感知環境聲音的裝置及方法

無效

• 申請號: 201110336556.4
• 申請日: 2011-10-28
• 公開（公告）號: CN102499815A
• 公開（公告）日: 2012-06-20
• 發明（設計）人: 楊丹;徐彬;王旭
• 申請（專利權）人: 東北大學
• 主分類號: A61F11/04
• 分類號: A61F11/04;G10L15/06
• 代理公司: 沈陽東大專利代理有限公司 21109
• 代理人: 梁焱

1.一種輔助聾人感知環境聲音的裝置，其特征在于：包括聲音采集模塊和聲音處理及顯示模塊；

聲音采集模塊安放在聾人所處環境中的若干固定節點，包括麥克風、信號調理電路、微處理器、復位電路、JTAG接口、時鐘電路、電源電路和無線發射模塊；麥克風接至信號調理電路輸入端，信號調理電路輸出端接入微處理器端口，復位電路、JTAG接口、時鐘電路和電源電路均外接于微處理器端口，無線發射模塊接至微處理器通信端口；

聲音處理及顯示模塊由聾人隨身攜帶，包括處理器、存儲器、無線接收模塊、JTAG接口、SD卡接口、時鐘電路、復位電路、電源電路和LCD顯示屏，處理器外接有存儲器、JTAG接口和SD卡接口，電源電路接至處理器的供電端口，同時電源電路的輸出管腳分別連接LCD顯示屏、復位電路、存儲器，無線接收模塊接至處理器的通信端口。

2.采用權利要求1所述的輔助聾人感知環境聲音的裝置輔助聾人感知環境聲音的方法，其特征在于：具體按如下步驟執行：

步驟1：針對聾人所處的特定環境，建立環境聲音數據庫，建立這些環境聲音發生位置的圖像文件；

步驟2：對環境聲音數據庫中的聲音進行處理和訓練，建立這些環境聲音與發生位置的對應關系，具體如下：

步驟2.1：根據公式1計算每幀中每個采樣點的能量E(m，k)，根據公式2計算信號總能量E，根據公式3計算每幀中每個采樣點的概率密度P(m，k)；

E(m，k)＝[x(m)·ω(n-m)]²m＝1，...，N，k＝1，...，M????????????????公式1

其中x(n)表示聲音信號，m為聲音信號采樣序數，ω(n)為漢明窗函數，k表示幀序數，N為每幀數據采樣點數，M采樣幀數；

根據公式2計算聲音信號總能量

E=Σk=1MΣm=1N/2E(m,k)]]>公式2

P(m，k)＝E(m，k)/E，m＝1，...，N/2，k＝1，...，M????????公式3

步驟2.2：計算每幀聲音信號的譜熵值H_m；

根據公式4計算每幀譜熵值H_m，

Hm=-Σm=1N/2P(m,k)·logP(m,k)]]>公式4

步驟2.3：設定門限值，逐幀進行比較；

當大于門限值H1時，認定為進入聲音段，否則繼續比較判斷，聲音結束點的判斷與此同理；

步驟2.4：當判斷出非噪音頻段的起始位置時，從起始幀開始，計算當前幀的功率譜值，一共計算15幀；

步驟2.5：對計算出的15幀功率譜值進行二值化；

選取基準值Base，大于Base的設為1，小于Base設為0，構成聲音識別的神經網絡輸入特征向量；

步驟2.6：采用神經網絡算法進行聲音類別識別訓練；

步驟3：聾人所處特定環境中某種聲音產生時，該位置的聲音采集模塊的麥克風采集到的聲音信號，經信號調理電路放大濾波后，通過無線發射模塊發送至聲音處理及顯示模塊；

步驟4：當有環境聲音發送至嵌入式聲音處理及顯示模塊時，提取聲音信號特征，送入訓練好的神經網絡中，判定類別神經元g，確定聲音類別。

步驟5：根據聲音所屬類別，調用在聾人周圍環境發生位置的圖像文件；

步驟6：建立聲音數據的圖形表達：將聾人所在周圍環境發生的某種聲音以不斷閃爍的圓環表示，圓環的中心指示聲源在房間內的位置，根據計算聲音數據前15幀的能量確定圓環的大小，聲音數據持續時間對于圓環顯示的時間。

3.根據權利要求2所述的輔助聾人感知環境聲音的方法，其特征在于：步驟2.6所述采用神經網絡算法進行聲音類別識別訓練，具體步驟如下：

步驟2.6.1：初始化；

根據公式5初始化前向連接權W_ij(0)，根據公式6初始化反饋連接權t_ji(0)，初始化閾值參數為ρ。

Wij(0)=1n+1]]>公式5

t_ji(0)＝1，i＝1，2，...，n，j＝1，2，...，m????????公式6

步驟2.6.2：選擇環境聲音數據庫中某一類別聲音信號，提取聲音信號的前15幀的能量，構15維輸入特征向量送入ART神經網絡輸入層；

步驟2.6.3：根據公式7計算輸入層各個神經元激活函數S_j，神經元g的激活值S_g最大，如公式8，初步確定為輸入特征向量U_i所對應輸出層的類別神經元；

Sj=Σi=1nWijUik,j=1,2,...,m]]>公式7

Sg=maxj=1m[Sj]]]>公式8

步驟2.6.4：根據公式9，計算輸入特征向量U_i與輸出層類別神經元g匹配度C_j，

Cj=Σi=1ntjiUiΣi=1nUi]]>公式9

其中，T_j＝[t_j1，t_j2，...，t_jn]^T，j＝1，2，...，m表示神經元j所對應的反饋連接權，存儲的是以前的學習過程中記憶的輸入特征向量。

當C_j≥ρ時，確定輸出層神經元g是輸入特征向量U_i的類別神經元，根據公式10和11調整神經元連接權值，存儲記憶結果。

Wij(t+1)=tji(t)Ui0.5+Σi=1ntji(t)Ui,]]>i＝1，2，...，n?????????公式10

t_ji(t+1)＝t_ji(t)U_i?????????公式11

當C_j＜ρ時，則輸出層神經元不是類別神經元，將神經元g的輸出置0，并在余下的輸出層神經元中繼續尋找，即轉至步驟2.6.3。

步驟2.6.5：將神經元g排除出下次識別的范圍，返回步驟2.6.3；若所有已記憶的神經元都不滿足時，則選一個未使用的輸出層神經元作為輸入特征向量U_i的分類結果，并令這個神經元為類別神經元g，根據公式10、11調整連接權。

步驟2.6.6：返回步驟2.6.2，對下一個輸入特征向量進行識別。

步驟2.6.7：當建立的環境聲音數據庫中環境聲音都在輸出層確定了類別神經元g后，則訓練結束。