[發明專利]一種基于聲譜圖顯著性檢測的音頻識別方法

有效

• 申請號: 201510054228.3
• 申請日: 2015-02-02
• 公開（公告）號: CN104616664B
• 公開（公告）日: 2017-08-25
• 發明（設計）人: 陳雁翔;弓彥婷;任洪梅;王猛
• 申請（專利權）人: 合肥工業大學
• 主分類號: G10L25/03
• 分類號: G10L25/03;G10L25/48
• 代理公司: 安徽省合肥新安專利代理有限責任公司34101
• 代理人: 陸麗莉,何梅生

1.一種基于聲譜圖顯著性檢測的音頻識別方法，其特征是如下步驟進行：

步驟1、獲取像素為M×N的n種不同聲源的聲譜圖，每種聲譜圖獲取m幅，從而獲得m×n幅聲譜圖D＝{d₁,d₂,…,d_i,…,d_m×n}；d_i表示第i幅聲譜圖；i∈[1,m×n]；

對所述m×n幅聲譜圖D分別進行特征提取，獲得基本特征集合；所述基本特征集合包括：RGBY色度特征集合C＝{C₁,C₂,…,C_i,…,C_m×n}、方向特征集合O＝{O₁,O₂,…,O_i,…,O_m×n}和亮度特征集合I＝{I₁,I₂,…,I_i,…,I_m×n}；C_i表示第i幅聲譜圖d_i的RGBY色度特征；O_i表示第i幅聲譜圖d_i的方向特征；I_i表示第i幅聲譜圖d_i的亮度特征；

步驟2、根據所述基本特征集合利用GBVS算法對所述第i幅聲譜圖d_i進行顯著性提取，獲得第i幅顯著性圖S_i；根據所述第i幅顯著性圖S_i利用主圖分離方法提取所述第i幅聲譜圖d_i的主圖SM_i，所述第i幅主圖SM_i是由R基色圖R(SM_i)、G基色圖G(SM_i)和B基色圖B(SM_i)構成的像素為l×l的三維基色圖；從而獲得m×n幅聲譜圖D的主圖集合SM＝{SM₁,SM₂,…,SM_i,…,SM_m×n}；l＜M,l＜N；

步驟3、利用式(1)提取所述第i幅主圖SM_i的層次對比圖SMR_i，從而獲得m×n幅聲譜圖D的層次對比圖集合SMR＝{SMR₁,SMR₂,…,SMR_i,…,SMR_m×n}：

步驟4、利用式(2)獲得所述第i幅層次對比圖SMR_i的PCA特征圖SMRP_i，從而獲得m×n幅聲譜圖D的PCA特征圖集合SMRP＝{SMRP₁,SMRP₂,…,SMRP_i,…,SMRP_m×n}：

SMRP_i＝(dim_j(A_i))^TSMR_i (2)

式(2)中，A_i表示所述第i幅層次對比圖SMR_i的協方差矩陣，dim_j(A_i)表示所述協方差矩陣A_i的前j個特征向量所組成的矩陣；并有：

Ai=1lΣα=1l(dα(i))(dα(i))T---(3)]]>

式(3)中，表示第i幅層次對比圖SMR_i中第α個像素值；α∈[1,l]；

以所述第i幅層次對比圖SMR_i和第i幅PCA特征圖SMRP_i作為特征描述集表征所述第i幅聲譜圖d_i的聲源，從而獲得所述m×n幅聲譜圖D中n類聲源的所有特征描述集表征，所述n類聲源中的每類聲源均包含m個特征描述集；

步驟5、建立n種不同聲源的GCNN聲源模型；

步驟5.1、在深度卷積神經網絡CNN中增加內部輸入層，從而形成改進的深度卷積神經網絡GCNN：

所述深度卷積神經網絡CNN包含外部輸入層、p個卷積層{C₁,C₂,…,C_p}、p個降采樣層{S₁,S₂,…,S_p}以及全連接softmax分類層；所述p個卷積層{C₁,C₂,…,C_p}中的每個卷積層與p個降采樣層{S₁,S₂,…,S_p}中的每個降采樣層為互相交錯設置，所述外部輸入層連接第1個卷積層C₁；第p個降采樣層S_p連接所述全連接softmax分類層；

在所述第1個卷積層C₁與第1個降采樣層S₁之間設置所述內部輸入層，從而構成所述改進的深度卷積神經網絡GCNN；

步驟5.2、以所述層次對比圖集合SMR＝{SMR₁,SMR₂,…,SMR_i,…,SMR_m×n}作為所述外部輸入層的輸入；以所述PCA特征圖集合SMRP＝{SMRP₁,SMRP₂,…,SMRP_i,…,SMRP_m×n}作為所述內部輸入層的輸入；通過所述改進的深度卷積神經網絡GCNN進行訓練和建模，從而獲得n種不同聲源的GCNN聲源模型；

步驟6、利用所述n種不同聲源的GCNN聲源模型識別待測試聲譜圖d'的聲源：

步驟6.1、對所述待測試聲譜圖d'按照步驟2-步驟4依次進行處理，獲得所述待測試聲譜圖d'的層次對比圖SMR_d'和PCA特征圖SMRP_d'；

步驟6.2、以所述待測試聲譜圖d'的層次對比圖SMR_d'作為所述外部輸入層的輸入圖像；以所述待測試聲譜圖d'的PCA特征圖SMRP_d'作為所述內部輸入層的輸入圖像；從而利用所述n種不同聲源的GCNN聲源模型識別所述待測試聲譜圖d'所屬的聲源。

2.根據權利要求1所述的基于聲譜圖顯著性檢測的音頻識別方法，其特征是，所述步驟2中的主圖分離方法是按如下步驟進行：

步驟2.1、假設所述第i幅顯著性圖S_i中包含Q個注意焦點，將所述Q個注意焦點進行降序排序獲得注意焦點集合FOA＝{FOA₁，FOA₂，…，FOA_q,…,FOA_Q}；FOA_q表示第q個注意焦點；獲取所述注意焦點集合FOA中每個注意焦點在所述第i幅顯著性圖S_i中各自的位置L＝{L₁,L₂,…,L_q,…,L_Q}；L_q表示所述第q個注意焦點FOA_q在所述第i幅顯著性圖S_i中的位置；1≤q≤Q；

步驟2.2、初始化q＝1；

步驟2.3、利用所述第q個注意焦點FOA_q在顯著性圖中的位置L_q，獲得所述第q個注意焦點FOA_q在所述第i幅聲譜圖d_i中所對應的位置L_q'；

步驟2.4、提取所述對應的位置L_q'的色度特征，所述色度特征包括：紅色特征R_q、綠色特征G_q、藍色特征B_q和黃色特征Y_q；

步驟2.5、判斷所述紅色特征R_q是否滿足在所述色度特征中為最大值，且所述色特征G_q、藍色特征B_q和黃色特征Y_q均為0；若滿足，則執行步驟2.6，否則，判斷q＝Q是否成立；若成立，則表示所述第i幅顯著性圖S_i中沒有有效聲源；否則，將q+1的值賦給q，并返回步驟2.3執行；

步驟2.6、從與所述第i幅顯著性圖S_i所對應的第i幅聲譜圖d_i中分離出以l×l為邊長，并以對應的位置L_q'為中心的正方框，判斷所述正方框是否超出所述第i幅聲譜圖d_i的邊界，若超出，則以所述超出的邊界作為所述正方框的邊，形成新的l×l的矩形框，以所述新的l×l的矩形框作為所述第i幅聲譜圖d_i的主圖SM_i；否則，以所述正方框作為所述第i幅聲譜圖d_i的主圖SM_i。