[發(fā)明專利]使用弱監(jiān)督數(shù)據(jù)訓(xùn)練VAD的方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202011561510.8
• 申請(qǐng)日: 2020-12-25
• 公開（公告）號(hào): CN112786029B
• 公開（公告）日: 2022-07-26
• 發(fā)明（設(shè)計(jì)）人: 楊云亭
• 申請(qǐng)（專利權(quán)）人: 思必馳科技股份有限公司
• 主分類號(hào): G10L15/16
• 分類號(hào): G10L15/16;G10L15/02;G06K9/62;G06N3/08
• 代理公司: 北京商專永信知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11400
• 代理人: 黃謙;鄧婷婷

1.一種使用弱監(jiān)督數(shù)據(jù)訓(xùn)練VAD的方法，包括：

向模型中輸入用于訓(xùn)練所述模型的語音，得到所述模型在訓(xùn)練過程中輸出的幀級(jí)別概率；

將得到的幀級(jí)別概率聚合成句子級(jí)別概率，通過句子級(jí)別概率得到句子級(jí)別標(biāo)簽；

利用得到的句子級(jí)別標(biāo)簽進(jìn)行l(wèi)oss計(jì)算，訓(xùn)練所述模型使得所述模型輸出的計(jì)算結(jié)果基本等于所述用于訓(xùn)練所述模型的語音的人工標(biāo)記結(jié)果；

接收原始音頻，從所述原始音頻中提取聲學(xué)信號(hào)特征；

將聲學(xué)信號(hào)特征輸入到所述模型中；

獲取所述訓(xùn)練后的模型輸出的對(duì)所述原始音頻中語音和非語音的分類結(jié)果。

2.根據(jù)權(quán)利要求1所述的方法，所述將得到的幀級(jí)別概率聚合成句子級(jí)別概率，通過句子級(jí)別概率得到句子級(jí)別標(biāo)簽包括：

將所述聲學(xué)信號(hào)特征中的幀級(jí)別預(yù)測(cè)標(biāo)簽通過聚合函數(shù)整合，得到句子級(jí)別預(yù)測(cè)標(biāo)簽。

3.根據(jù)權(quán)利要求1所述的方法，所述訓(xùn)練所述模型使得所述模型的輸出的計(jì)算結(jié)果基本等于所述用于訓(xùn)練所述模型的語音的人工標(biāo)記結(jié)果包括：

對(duì)所述模型的輸出的計(jì)算結(jié)果和所述人工標(biāo)記結(jié)果進(jìn)行損失函數(shù)的計(jì)算使得所述模型的輸出的計(jì)算結(jié)果基本等于所述用于訓(xùn)練所述模型的語音的人工標(biāo)記結(jié)果。

4.根據(jù)權(quán)利要求1所述的方法，在獲取所述訓(xùn)練后的模型輸出的對(duì)所述原始音頻中語音和非語音的分類結(jié)果后，所述方法還包括:

對(duì)訓(xùn)練后的模型輸出的對(duì)所述原始音頻中語音和非語音的分類結(jié)果進(jìn)行閾值卡段，得到超過閾值的區(qū)間，對(duì)超過閾值的區(qū)間從幀數(shù)同樣轉(zhuǎn)到時(shí)間，得到超過閾值的區(qū)間時(shí)間段。

5.一種使用弱監(jiān)督數(shù)據(jù)訓(xùn)練VAD的裝置，其包括，

語音接收程序模塊，配置為向模型中輸入用于訓(xùn)練所述模型的語音，得到所述模型在訓(xùn)練過程中輸出的幀級(jí)別概率；

聚合程序模塊，配置為將得到的幀級(jí)別概率聚合成句子級(jí)別概率，通過句子級(jí)別概率得到句子級(jí)別標(biāo)簽；

計(jì)算程序模塊，配置為利用得到的句子級(jí)別標(biāo)簽進(jìn)行l(wèi)oss計(jì)算，訓(xùn)練所述模型使得所述模型輸出的計(jì)算結(jié)果基本等于所述用于訓(xùn)練所述模型的語音的人工標(biāo)記結(jié)果；

接收程序模塊，配置為接收原始音頻，從所述原始音頻中提取聲學(xué)信號(hào)特征；

輸入程序模塊，配置為將聲學(xué)信號(hào)特征輸入到所述模型中；

輸出程序模塊，配置為獲取所述訓(xùn)練后的模型輸出的對(duì)所述原始音頻中語音和非語音的分類結(jié)果。

6.根據(jù)權(quán)利要求5所述的裝置，所述聚合程序模塊包括配置為：

將所述聲學(xué)信號(hào)特征中的幀級(jí)別預(yù)測(cè)標(biāo)簽通過聚合函數(shù)整合，得到句子級(jí)別預(yù)測(cè)標(biāo)簽。

7.根據(jù)權(quán)利要求5所述的裝置，所述計(jì)算程序模塊包括配置為：

對(duì)所述模型的輸出的計(jì)算結(jié)果和所述人工標(biāo)記結(jié)果進(jìn)行損失函數(shù)的計(jì)算使得所述模型的輸出的計(jì)算結(jié)果基本等于所述用于訓(xùn)練所述模型的語音的人工標(biāo)記結(jié)果。

8.根據(jù)權(quán)利要求5所述的裝置，所述裝置還包括:

閾值卡段程序模塊，配置為對(duì)訓(xùn)練后的模型輸出的對(duì)所述原始音頻中語音和非語音的分類結(jié)果進(jìn)行閾值卡段，得到超過閾值的區(qū)間，對(duì)超過閾值的區(qū)間從幀數(shù)同樣轉(zhuǎn)到時(shí)間，得到超過閾值的區(qū)間時(shí)間段。

9.一種電子設(shè)備，其包括：至少一個(gè)處理器，以及與所述至少一個(gè)處理器通信連接的存儲(chǔ)器，其中，所述存儲(chǔ)器存儲(chǔ)有可被所述至少一個(gè)處理器執(zhí)行的指令，所述指令被所述至少一個(gè)處理器執(zhí)行，以使所述至少一個(gè)處理器能夠執(zhí)行權(quán)利要求1至4任一項(xiàng)所述方法的步驟。

10.一種存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至4任一項(xiàng)所述方法的步驟。