[發(fā)明專(zhuān)利]喚醒模型的訓(xùn)練方法、裝置和計(jì)算機(jī)設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 202110059722.4
• 申請(qǐng)日: 2021-01-18
• 公開(kāi)（公告）號(hào): CN112365885B
• 公開(kāi)（公告）日: 2021-05-07
• 發(fā)明（設(shè)計(jì)）人: 徐泓洋;王廣新;楊漢丹
• 申請(qǐng)（專(zhuān)利權(quán)）人: 深圳市友杰智新科技有限公司
• 主分類(lèi)號(hào): G10L15/02
• 分類(lèi)號(hào): G10L15/02;G10L15/06;G10L15/08;G10L15/16;G10L15/26;G10L21/0264
• 代理公司: 深圳市明日今典知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44343
• 代理人: 王杰輝;曹勇

本申請(qǐng)涉及人工智能領(lǐng)域，揭示了喚醒模型的訓(xùn)練方法，包括：對(duì)訓(xùn)練集中指定語(yǔ)音語(yǔ)句提取音頻幀得到聲學(xué)特征矩陣；將聲學(xué)特征矩陣輸入第一模型的關(guān)鍵詞檢出器，得到第一空間特征，將聲學(xué)特征矩陣輸入第二模型的編碼器中得到第二空間特征，第一模型為待訓(xùn)練的喚醒模型，第二模型為訓(xùn)練好的降噪模型；計(jì)算第一空間特征和第二空間特征的空間特征的差異；根據(jù)指定語(yǔ)音語(yǔ)句對(duì)應(yīng)的空間特征的差異的計(jì)算方式，計(jì)算訓(xùn)練集中所有語(yǔ)音語(yǔ)句分別對(duì)應(yīng)的空間特征的差異；根據(jù)所有語(yǔ)音語(yǔ)句分別對(duì)應(yīng)的空間特征的差異及喚醒模型預(yù)設(shè)的交叉熵?fù)p失，形成訓(xùn)練喚醒模型的損失函數(shù)訓(xùn)練喚醒模型。將高維空間的特征向量作為知識(shí)蒸餾樣本，輔助訓(xùn)練喚醒模型，提高喚醒效果。

技術(shù)領(lǐng)域

本申請(qǐng)涉及人工智能領(lǐng)域，特別是涉及到喚醒模型的訓(xùn)練方法、裝置和計(jì)算機(jī)設(shè)備。

背景技術(shù)

如何降低誤喚醒率一直喚醒模型需要解決的主要問(wèn)題，一般思路從兩個(gè)方面入手，一方面在數(shù)據(jù)集中進(jìn)行加噪處理，噪聲數(shù)據(jù)包含特定場(chǎng)景的數(shù)據(jù)或者盡可能多類(lèi)型的噪聲數(shù)據(jù)，以模擬真實(shí)場(chǎng)景；通常噪聲數(shù)據(jù)的數(shù)量和類(lèi)型的增加意味著網(wǎng)絡(luò)要有更強(qiáng)的學(xué)習(xí)能力，所以在處理數(shù)據(jù)時(shí)也要在模型結(jié)構(gòu)上設(shè)計(jì)更有效的網(wǎng)絡(luò)結(jié)構(gòu)來(lái)提升喚醒模型的學(xué)習(xí)能力。另一方面就是喚醒前增加前處理模塊，包括但不限于傳統(tǒng)的前端增益放大、去混響、陣列降噪或者深度降噪模型等，先把噪聲數(shù)據(jù)處理干凈，降低噪聲等異常數(shù)據(jù)對(duì)喚醒模型影響。但目前由于喚醒模型通常部署于持續(xù)運(yùn)行的移動(dòng)設(shè)備上，要求體積小且整個(gè)喚醒模型的功耗要低，上述兩種降低誤喚醒率的方法無(wú)法適用于小體積的喚醒模型。

發(fā)明內(nèi)容

本申請(qǐng)的主要目的為提供喚醒模型的訓(xùn)練方法，旨在解決現(xiàn)有降低誤喚醒率的方法無(wú)法適用于小體積的喚醒模型的技術(shù)問(wèn)題。

本申請(qǐng)?zhí)岢鲆环N喚醒模型的訓(xùn)練方法，包括：

對(duì)訓(xùn)練集中指定語(yǔ)音語(yǔ)句提取音頻幀，得到聲學(xué)特征矩陣，其中，所述指定語(yǔ)音語(yǔ)句屬于訓(xùn)練集中的任意一語(yǔ)音訓(xùn)練樣本；

將所述聲學(xué)特征矩陣輸入第一模型的關(guān)鍵詞檢出器，得到第一空間特征，將所述聲學(xué)特征矩陣輸入第二模型的編碼器中，得到第二空間特征，其中，所述第一模型為待訓(xùn)練的喚醒模型，所述第二模型為訓(xùn)練好的降噪模型；

計(jì)算所述第一空間特征和所述第二空間特征的空間特征的差異；

根據(jù)所述指定語(yǔ)音語(yǔ)句對(duì)應(yīng)的空間特征的差異的計(jì)算方式，計(jì)算所述訓(xùn)練集中所有語(yǔ)音語(yǔ)句分別對(duì)應(yīng)的空間特征的差異；

根據(jù)所有語(yǔ)音語(yǔ)句分別對(duì)應(yīng)的空間特征的差異以及所述喚醒模型預(yù)設(shè)的交叉熵?fù)p失，形成訓(xùn)練所述喚醒模型的損失函數(shù)；

根據(jù)所述損失函數(shù)在所述訓(xùn)練集上訓(xùn)練所述喚醒模型。

優(yōu)選地，所述計(jì)算所述第一空間特征和所述第二空間特征的空間特征的差異的步驟，包括：

對(duì)比所述第一空間特征和所述第二空間特征，得到相似度矩陣；

將所述相似度矩陣，轉(zhuǎn)換為概率值；

根據(jù)轉(zhuǎn)化后的概率值計(jì)算KL散度損失；

將所述KL散度損失作為所述第一空間特征和所述第二空間特征的空間特征的差異。

優(yōu)選地，所述根據(jù)所有語(yǔ)音語(yǔ)句分別對(duì)應(yīng)的空間特征的差異以及所述喚醒模型預(yù)設(shè)的交叉熵?fù)p失，形成訓(xùn)練所述喚醒模型的損失函數(shù)的步驟，包括：

根據(jù)所述空間特征的差異，計(jì)算所述空間特征的差異對(duì)應(yīng)的正則項(xiàng)；

將所述正則項(xiàng)作為第一損失函數(shù)；

獲取所述喚醒模型預(yù)設(shè)的交叉熵?fù)p失，作為第二損失函數(shù)；

對(duì)所述第一損失函數(shù)和所述第二損失函數(shù)求和，得到訓(xùn)練所述喚醒模型的損失函數(shù)。

優(yōu)選地，所述根據(jù)所述損失函數(shù)在所述訓(xùn)練集上訓(xùn)練所述喚醒模型的步驟，包括：