[發(fā)明專利]語音分離方法及裝置、存儲(chǔ)介質(zhì)、電子裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202110902416.2
• 申請(qǐng)日: 2021-08-06
• 公開（公告）號(hào): CN113593587B
• 公開（公告）日: 2022-07-29
• 發(fā)明（設(shè)計(jì)）人: 司馬華鵬;王滿洪;湯毅平
• 申請(qǐng)（專利權(quán)）人: 宿遷硅基智能科技有限公司
• 主分類號(hào): G10L19/16
• 分類號(hào): G10L19/16;G10L21/0272;G10L21/055;H04N19/136;H04N19/172;H04N19/30
• 代理公司: 南京經(jīng)緯專利商標(biāo)代理有限公司 32200
• 代理人: 闞夢詩

1.一種語音分離方法，其特征在于，包括：

獲取音頻數(shù)據(jù)和與所述音頻數(shù)據(jù)同步采集的至少一組視頻數(shù)據(jù)，其中，所述音頻數(shù)據(jù)中包含至少一個(gè)目標(biāo)角色的混合語音數(shù)據(jù)；

將所述音頻數(shù)據(jù)按照時(shí)域進(jìn)行切分，同時(shí)將所述視頻數(shù)據(jù)轉(zhuǎn)換為圖像序列后提取圖像特征向量；

將切分后的所述音頻數(shù)據(jù)和所述圖像特征向量分別進(jìn)行編碼后按照時(shí)間信息進(jìn)行融合，得到混合編碼信息；

根據(jù)所述混合編碼信息輸出至少一個(gè)目標(biāo)角色的編碼權(quán)重；

根據(jù)至少一個(gè)所述目標(biāo)角色的所述編碼權(quán)重和所述音頻數(shù)據(jù)輸出至少一個(gè)所述目標(biāo)角色的獨(dú)立語音數(shù)據(jù)；

其中，所述根據(jù)至少一個(gè)所述目標(biāo)角色的所述編碼權(quán)重和所述音頻數(shù)據(jù)輸出至少一個(gè)所述目標(biāo)角色的獨(dú)立語音數(shù)據(jù)，包括：

將至少一個(gè)所述目標(biāo)角色的所述編碼權(quán)重和切分前的所述音頻數(shù)據(jù)點(diǎn)乘，得到點(diǎn)乘后的數(shù)據(jù)；

將所述點(diǎn)乘后的數(shù)據(jù)輸入語音分離網(wǎng)絡(luò)模型，其中，所述語音分離神經(jīng)網(wǎng)絡(luò)模型是使用第二樣本數(shù)據(jù)對(duì)基函數(shù)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練得到的模型，所述第二樣本數(shù)據(jù)包括：多個(gè)角色的混合語音數(shù)據(jù)、每個(gè)所述角色對(duì)應(yīng)的權(quán)重以及每個(gè)所述角色對(duì)應(yīng)的獨(dú)立語音數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述音頻數(shù)據(jù)按照時(shí)域進(jìn)行切分，包括：

將所述音頻數(shù)據(jù)按照預(yù)設(shè)時(shí)間段切分為多幀音頻數(shù)據(jù)，其中，所述預(yù)設(shè)時(shí)間段的長度小于或等于預(yù)設(shè)閾值。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述視頻數(shù)據(jù)轉(zhuǎn)換為圖像序列后提取圖像特征向量，包括：

將所述視頻數(shù)據(jù)轉(zhuǎn)換為圖像序列；

使用n幀長度的滑動(dòng)窗口提取所述圖像特征向量，其中，n為大于1的整數(shù)。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述使用n幀長度的滑動(dòng)窗口提取所述圖像特征向量，包括：

以當(dāng)前幀圖像為基準(zhǔn)，向左滑動(dòng)n-1幀圖像后，提取所述圖像特征向量；

在所述當(dāng)前幀圖像的左側(cè)圖像不足n-1幀的情況下，復(fù)制當(dāng)前滑動(dòng)窗口內(nèi)的第一幀圖像作為填充；

在第一滑動(dòng)窗口內(nèi)的n幀圖像中的至少一幀圖像不包含人臉信息的情況下，丟棄所述第一滑動(dòng)窗口內(nèi)的n幀圖像。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將切分后的所述音頻數(shù)據(jù)和所述圖像特征向量分別進(jìn)行編碼后按照時(shí)間信息進(jìn)行融合，得到混合編碼信息，包括：

將切分后的所述音頻數(shù)據(jù)輸入音頻編碼器，經(jīng)過卷積處理后得到音頻編碼信息；

將所述圖像特征向量輸入視頻編碼器，經(jīng)過卷積處理后得到視頻編碼信息；

將處于同一時(shí)間段的所述音頻編碼信息和所述視頻編碼信息進(jìn)行融合，得到所述混合編碼信息。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述混合編碼信息輸出至少一個(gè)目標(biāo)角色的編碼權(quán)重，包括：

將所述混合編碼信息輸入分離網(wǎng)絡(luò)模型，其中，所述分離網(wǎng)絡(luò)模型是使用第一樣本數(shù)據(jù)對(duì)時(shí)間循環(huán)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練后得到的模型，所述第一樣本數(shù)據(jù)包括多個(gè)角色的混合語音數(shù)據(jù)和每個(gè)所述角色對(duì)應(yīng)的權(quán)重標(biāo)簽；

通過所述分離網(wǎng)絡(luò)模型輸出至少一個(gè)所述目標(biāo)角色的所述編碼權(quán)重。