[發(fā)明專利]全連接多尺度的殘差網(wǎng)絡(luò)及其進(jìn)行聲紋識別的方法

有效

• 申請?zhí)枺?/td>: 202010731632.0
• 申請日: 2020-07-27
• 公開（公告）號: CN111833886B
• 公開（公告）日: 2021-03-23
• 發(fā)明（設(shè)計）人: 王文超;方策;張鵬遠(yuǎn);顏永紅
• 申請（專利權(quán)）人: 中國科學(xué)院聲學(xué)研究所;北京中科信利技術(shù)有限公司
• 主分類號: G10L17/04
• 分類號: G10L17/04;G10L25/30;G06N3/04
• 代理公司: 北京億騰知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11309
• 代理人: 陳霽

1.一種用于聲紋識別的全連接多尺度的殘差網(wǎng)絡(luò)，其特征在于，包括輸入層，卷積層，N個依次連接的殘差模塊，以及全連接層；其中：

所述輸入層，用于接收待識別的語音信息對應(yīng)的特征向量；

所述卷積層，用于對特征向量進(jìn)行卷積處理以得到第一特征圖；

所述N個依次連接的殘差模塊，每個殘差模塊得到并輸出第六特征圖；其中對于N個殘差模塊中的第i個殘差模塊，用于：

接收當(dāng)前特征圖，其中，當(dāng)i為1時，所述當(dāng)前特征圖為第一特征圖，當(dāng)i大于1且不大于N時，所述當(dāng)前特征圖為第i-1個殘差模塊輸出的第六特征圖，N為大于1的整數(shù)；以及，根據(jù)長度和寬度均為1的第一卷積核，對當(dāng)前特征圖進(jìn)行卷積處理以得到第二特征圖；將第二特征圖劃分為至少兩個第三特征圖，其中所述至少兩個第三特征圖與存在順序關(guān)系的至少兩個第二卷積核一一對應(yīng)；針對至少兩個第二卷積核中任意的第j個第二卷積核，確定出第j個第二卷積核對應(yīng)的第四特征圖，并根據(jù)第j個卷積核對所述第四特征圖進(jìn)行卷積處理以得到第五特征圖；其中，當(dāng)j為1時，第二卷積核對應(yīng)的第四特征圖為第三特征圖；當(dāng)j大于1時，第j個第二卷積核對應(yīng)的第四特征圖，包括第j個卷積核對應(yīng)的第三特征圖，以及包括位于第j個第二卷積核之前的每個第二卷積核各自對應(yīng)的第五特征圖；根據(jù)長度和寬度均為1的第三卷積核，對所述至少兩個第二卷積核各自對應(yīng)的第五特征圖進(jìn)行卷積處理，得到并輸出第六特征圖；

所述全連接層，用于根據(jù)第N個殘差模塊輸出的第六特征圖，預(yù)測并輸出所述語音信息對應(yīng)的分類信息，所述分類信息用于指示發(fā)出所述語音信息的說話人。

2.根據(jù)權(quán)利要求1所述的殘差網(wǎng)絡(luò)，其特征在于，

所述殘差網(wǎng)絡(luò)還包括第一池化層，用于接收來自所述卷積層的第一特征圖，對其接收的第一特征圖進(jìn)行最大池化，并將進(jìn)行最大池化后的第一特征圖輸出至第一個殘差模塊。

3.根據(jù)權(quán)利要求1所述的殘差網(wǎng)絡(luò)，其特征在于，

所述殘差網(wǎng)絡(luò)還包括第二池化層，用于接收來自第N個殘差模塊的第六特征圖，對其接收的第六特征圖進(jìn)行均值池化，并將進(jìn)行均值池化后的第六特征圖輸出至所述全連接層。

4.一種利用全連接多尺度的殘差網(wǎng)絡(luò)進(jìn)行聲紋識別的方法，其特征在于，所述殘差網(wǎng)絡(luò)包括輸入層，卷積層，N個依次連接的殘差模塊，以及全連接層；所述方法包括：

利用所述輸入層接收待識別的語音信息對應(yīng)的特征向量；

利用所述卷積層對特征向量進(jìn)行卷積處理以得到第一特征圖；

利用所述N個依次連接的殘差模塊，每個殘差模塊得到并輸出第六特征圖；其中，依次利用N個殘差模塊中的第i個殘差模塊，執(zhí)行：

接收當(dāng)前特征圖，其中，當(dāng)i為1時，所述當(dāng)前特征圖為第一特征圖，當(dāng)i大于1且不大于N時，所述當(dāng)前特征圖為第i-1個殘差模塊輸出的第六特征圖，N為大于1的整數(shù)；以及，根據(jù)長度和寬度均為1的第一卷積核，對當(dāng)前特征圖進(jìn)行卷積處理以得到第二特征圖；將第二特征圖劃分為至少兩個第三特征圖，其中所述至少兩個第三特征圖與存在順序關(guān)系的至少兩個第二卷積核一一對應(yīng)；針對至少兩個第二卷積核中任意的第j個第二卷積核，確定出第j個第二卷積核對應(yīng)的第四特征圖，并根據(jù)第j個卷積核對所述第四特征圖進(jìn)行卷積處理以得到第五特征圖；其中，當(dāng)j為1時，第二卷積核對應(yīng)的第四特征圖為第三特征圖；當(dāng)j大于1時，第j個第二卷積核對應(yīng)的第四特征圖，包括第j個卷積核對應(yīng)的第三特征圖，以及包括位于第j個第二卷積核之前的每個第二卷積核各自對應(yīng)的第五特征圖；根據(jù)長度和寬度均為1的第三卷積核，對所述至少兩個第二卷積核各自對應(yīng)的第五特征圖進(jìn)行卷積處理，得到并輸出第六特征圖；

利用所述全連接層根據(jù)第N個殘差模塊輸出的第六特征圖，預(yù)測并輸出所述語音信息對應(yīng)的分類信息，所述分類信息用于指示發(fā)出所述語音信息的說話人。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述殘差網(wǎng)絡(luò)還包括第一池化層；所述方法還包括：

利用所述第一池化層接收來自所述卷積層的第一特征圖，對其接收的第一特征圖進(jìn)行最大池化，并將進(jìn)行最大池化后的第一特征圖輸出至第一個殘差模塊。

6.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述殘差網(wǎng)絡(luò)還包括第二池化層；所述方法還包括：

利用所述第二池化層接收來自第N個殘差模塊的第六特征圖，對其接收的第六特征圖進(jìn)行均值池化，并將進(jìn)行均值池化后的第六特征圖輸出至所述全連接層。