[發(fā)明專利]發(fā)聲者語(yǔ)音抽取方法、裝置、存儲(chǔ)介質(zhì)及電子設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202011055886.1
• 申請(qǐng)日: 2020-09-29
• 公開(kāi)（公告）號(hào): CN114333767A
• 公開(kāi)（公告）日: 2022-04-12
• 發(fā)明（設(shè)計(jì)）人: 許家銘;秦磊;郝云喆;徐波;崔強(qiáng)強(qiáng);陳天珞
• 申請(qǐng)（專利權(quán)）人: 華為技術(shù)有限公司;中國(guó)科學(xué)院自動(dòng)化研究所
• 主分類(lèi)號(hào): G10L15/02
• 分類(lèi)號(hào): G10L15/02;G10L15/04;G10L15/16;G10L17/02;G10L17/06;G10L17/18;G10L17/26
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

1.一種發(fā)聲者語(yǔ)音抽取方法，其特征在于，所述方法包括：

采集環(huán)境中的混合語(yǔ)音，所述混合語(yǔ)音包括目標(biāo)發(fā)聲者的語(yǔ)音；

基于所述混合語(yǔ)音，獲得第一語(yǔ)音時(shí)域特征信息；

基于已有的所述目標(biāo)發(fā)聲者的聲紋信息，從所述第一語(yǔ)音時(shí)域特征信息中實(shí)時(shí)抽取所述目標(biāo)發(fā)聲者的第二語(yǔ)音時(shí)域特征信息；

基于所述第二語(yǔ)音時(shí)域特征信息，獲得所述目標(biāo)發(fā)聲者的語(yǔ)音段。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述混合語(yǔ)音，獲得第一語(yǔ)音時(shí)域特征信息，包括：

基于所述混合語(yǔ)音，獲得第一單通道語(yǔ)音；

對(duì)所述第一單通道語(yǔ)音進(jìn)行斷句切分，得到包含預(yù)設(shè)類(lèi)型聲音的第一語(yǔ)音分段數(shù)據(jù)流；

通過(guò)預(yù)先訓(xùn)練的時(shí)域編碼器對(duì)所述第一語(yǔ)音分段數(shù)據(jù)流進(jìn)行處理，獲得第一語(yǔ)音時(shí)域特征信息。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，在基于已有的所述目標(biāo)發(fā)聲者的聲紋信息，從所述第一語(yǔ)音時(shí)域特征信息中實(shí)時(shí)抽取所述目標(biāo)發(fā)聲者的第二語(yǔ)音時(shí)域特征信息之前，該方法還包括：

采集所述目標(biāo)發(fā)聲者的語(yǔ)音；

基于所述目標(biāo)發(fā)聲者的語(yǔ)音，獲得第二單通道語(yǔ)音；

對(duì)所述第二單通道語(yǔ)音進(jìn)行斷句切分，得到包含預(yù)設(shè)類(lèi)型聲音的第二語(yǔ)音分段數(shù)據(jù)流；

從所述第二語(yǔ)音分段數(shù)據(jù)流中提取所述目標(biāo)發(fā)聲者的語(yǔ)音特征信息；

基于所述目標(biāo)發(fā)聲者的語(yǔ)音特征信息，獲得所述目標(biāo)發(fā)聲者的聲紋信息。

4.根據(jù)權(quán)利要求2或3所述的方法，其特征在于，對(duì)單通道語(yǔ)音進(jìn)行斷句切分，得到包含預(yù)設(shè)類(lèi)型聲音的語(yǔ)音分段數(shù)據(jù)流，包括：

對(duì)于單通道語(yǔ)音中的任意一幀語(yǔ)音，檢測(cè)該幀語(yǔ)音的能量大小，并根據(jù)預(yù)設(shè)能量閾值，確定該幀語(yǔ)音為有語(yǔ)音的語(yǔ)音幀還是無(wú)語(yǔ)音的語(yǔ)音幀；

對(duì)所述單通道語(yǔ)音中所有有語(yǔ)音的語(yǔ)音幀進(jìn)行斷句切分，得到包含預(yù)設(shè)類(lèi)型聲音的語(yǔ)音分段數(shù)據(jù)流。

5.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述從所述第二語(yǔ)音分段數(shù)據(jù)流中提取所述目標(biāo)發(fā)聲者的語(yǔ)音特征信息，包括：

對(duì)所述第二語(yǔ)音分段數(shù)據(jù)流進(jìn)行短時(shí)傅里葉變換，僅提取幅值部分的特征信息，作為所述目標(biāo)發(fā)聲者的語(yǔ)音特征信息。

6.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述聲紋信息為聲紋向量，所述基于所述目標(biāo)發(fā)聲者的語(yǔ)音特征信息，獲得所述目標(biāo)發(fā)聲者的聲紋信息，包括：

將所述目標(biāo)發(fā)聲者的語(yǔ)音特征信息輸入預(yù)先訓(xùn)練的聲紋網(wǎng)絡(luò)，得到所述聲紋網(wǎng)絡(luò)輸出的所述目標(biāo)發(fā)聲者的聲紋向量。

7.根據(jù)權(quán)利要求1-3、5、6任一項(xiàng)所述的方法，其特征在于，所述聲紋信息為聲紋向量，所述基于已有的所述目標(biāo)發(fā)聲者的聲紋信息，從所述第一語(yǔ)音時(shí)域特征信息中實(shí)時(shí)抽取所述目標(biāo)發(fā)聲者的第二語(yǔ)音時(shí)域特征信息，包括：

將所述第一語(yǔ)音時(shí)域特征信息切分為預(yù)設(shè)長(zhǎng)度的片段；

將切分后的所述片段和已有的所述目標(biāo)發(fā)聲者的聲紋向量輸入預(yù)先訓(xùn)練的語(yǔ)音抽取網(wǎng)絡(luò)，得到所述語(yǔ)音抽取網(wǎng)絡(luò)實(shí)時(shí)輸出的各個(gè)所述片段對(duì)應(yīng)的所述目標(biāo)發(fā)聲者的第二語(yǔ)音時(shí)域特征信息；其中，當(dāng)前片段對(duì)應(yīng)的所述目標(biāo)發(fā)聲者的第二語(yǔ)音時(shí)域特征信息的提取依賴于歷史片段處理過(guò)程中緩存的中間變量。

8.根據(jù)權(quán)利要求7所述的方法，其特征在于，在將切分后的所述片段和已有的所述目標(biāo)發(fā)聲者的聲紋向量輸入預(yù)先訓(xùn)練的語(yǔ)音抽取網(wǎng)絡(luò)之前，該方法還包括：

獲取訓(xùn)練樣本集，所述訓(xùn)練樣本集包括：混合語(yǔ)音和發(fā)聲者的參考語(yǔ)音，其中，所述混合語(yǔ)音包括發(fā)聲者的語(yǔ)音；

通過(guò)所述訓(xùn)練樣本集，訓(xùn)練所述語(yǔ)音抽取網(wǎng)絡(luò)，以使得所述語(yǔ)音抽取網(wǎng)絡(luò)輸出的第二語(yǔ)音時(shí)域特征信息為所述發(fā)聲者的。

9.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述基于所述第二語(yǔ)音時(shí)域特征信息，獲得所述目標(biāo)發(fā)聲者的語(yǔ)音段，包括：

通過(guò)預(yù)先訓(xùn)練的時(shí)域解碼器將所述第二語(yǔ)音時(shí)域特征信息恢復(fù)為離散的語(yǔ)音采樣點(diǎn)；

將所述離散的語(yǔ)音采樣點(diǎn)融合，獲得所述目標(biāo)發(fā)聲者的語(yǔ)音段。