[發(fā)明專利]終端設(shè)備的語(yǔ)音喚醒方法、系統(tǒng)、電子設(shè)備、存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201910165320.5
• 申請(qǐng)日: 2019-03-05
• 公開（公告）號(hào): CN111667843B
• 公開（公告）日: 2021-12-31
• 發(fā)明（設(shè)計(jì)）人: 白二偉
• 申請(qǐng)（專利權(quán)）人: 北京京東尚科信息技術(shù)有限公司;北京京東世紀(jì)貿(mào)易有限公司
• 主分類號(hào): G10L21/0208
• 分類號(hào): G10L21/0208;G10L21/0216;G10L15/22;G10L15/26;G10L15/06;G01S5/18;G10L25/30
• 代理公司: 上海弼興律師事務(wù)所 31283
• 代理人: 薛琦;羅朗

1.一種終端設(shè)備的語(yǔ)音喚醒方法，其特征在于，所述語(yǔ)音喚醒方法包括：

預(yù)設(shè)相對(duì)于所述終端設(shè)備的麥克風(fēng)陣列的M個(gè)基準(zhǔn)方向；

利用所述麥克風(fēng)陣列采集音頻信號(hào)；

將所述音頻信號(hào)分解成與M個(gè)基準(zhǔn)方向?qū)?yīng)的M個(gè)波束信號(hào)；

從M個(gè)波束信號(hào)中選擇N個(gè)方向特征最強(qiáng)的波束信號(hào)作為候選信號(hào)；

判斷是否有至少一個(gè)候選信號(hào)的內(nèi)容包括喚醒詞，若是，則根據(jù)所述喚醒詞喚醒所述終端設(shè)備；

判斷是否有至少一個(gè)候選信號(hào)的內(nèi)容包括喚醒詞，若是，則：

令初始值為0的計(jì)數(shù)值加1；

判斷所述計(jì)數(shù)值是否達(dá)到計(jì)數(shù)閾值；

若達(dá)到所述計(jì)數(shù)閾值，則根據(jù)所述喚醒詞喚醒所述終端設(shè)備；

若未達(dá)到所述計(jì)數(shù)閾值，則返回所述利用所述麥克風(fēng)陣列采集音頻信號(hào)的步驟；

若否，則將所述計(jì)數(shù)值清零，并返回所述利用所述麥克風(fēng)陣列采集音頻信號(hào)的步驟；

其中，M和N是正整數(shù)；

在所述利用所述麥克風(fēng)陣列采集音頻信號(hào)的步驟之前，所述語(yǔ)音喚醒方法還包括：

利用所述麥克風(fēng)陣列采集多個(gè)樣本音頻信號(hào)，其中，每一樣本音頻信號(hào)的聲源方向已知且屬于M個(gè)基準(zhǔn)方向中的任意一個(gè)；

將所述樣本音頻信號(hào)分解成與M個(gè)基準(zhǔn)方向?qū)?yīng)的M個(gè)樣本波束信號(hào)；

根據(jù)各樣本音頻信號(hào)分別構(gòu)建第一訓(xùn)練數(shù)據(jù)集，所述第一訓(xùn)練數(shù)據(jù)集包括聲源方向?qū)?yīng)的樣本波束信號(hào)以及表征所述聲源方向的方向特征的樣本方向數(shù)組，所述樣本方向數(shù)組包括M個(gè)分別用于表征所述M個(gè)基準(zhǔn)方向的元素；

根據(jù)所有第一訓(xùn)練數(shù)據(jù)集訓(xùn)練聲源定位模型，所述聲源定位模型用于根據(jù)輸入的樣本波束信號(hào)輸出對(duì)應(yīng)的樣本方向數(shù)組；

所述從M個(gè)波束信號(hào)中選擇N個(gè)方向特征最強(qiáng)的波束信號(hào)作為候選信號(hào)的步驟包括：

將M個(gè)波束信號(hào)依次輸入所述聲源定位模型，輸出對(duì)應(yīng)的方向數(shù)組，所述方向數(shù)組的M個(gè)元素分別用于表征所述M個(gè)波束信號(hào)的方向特征；

按照所述方向數(shù)組中元素的值從大到小的順序選擇N個(gè)波束信號(hào)作為候選信號(hào)。

2.如權(quán)利要求1所述的終端設(shè)備的語(yǔ)音喚醒方法，其特征在于，每一樣本音頻信號(hào)還標(biāo)記有喚醒詞，在所述利用所述麥克風(fēng)陣列采集音頻信號(hào)的步驟之前，所述語(yǔ)音喚醒方法還包括：

根據(jù)各樣本音頻信號(hào)分別構(gòu)建第二訓(xùn)練數(shù)據(jù)集，所述第二訓(xùn)練數(shù)據(jù)集包括聲源方向?qū)?yīng)的樣本波束信號(hào)以及樣本識(shí)別數(shù)組，所述樣本識(shí)別數(shù)組包括兩個(gè)分別用于表征樣本波束信號(hào)的內(nèi)容包括所述喚醒詞的概率以及不包括所述喚醒詞的概率的元素；

根據(jù)所有第二訓(xùn)練數(shù)據(jù)集訓(xùn)練喚醒詞識(shí)別模型，所述喚醒詞識(shí)別模型用于根據(jù)輸入的樣本波束信號(hào)輸出對(duì)應(yīng)的樣本識(shí)別數(shù)組；

所述判斷是否有至少一個(gè)候選信號(hào)的內(nèi)容包括喚醒詞的步驟包括：

將N個(gè)候選信號(hào)依次輸入所述喚醒詞識(shí)別模型，分別輸出對(duì)應(yīng)的識(shí)別數(shù)組；

判斷N個(gè)識(shí)別數(shù)組中表征包括所述喚醒詞的概率的元素的最大值是否大于預(yù)設(shè)閾值；

若是，則確定有至少一個(gè)候選信號(hào)的內(nèi)容包括喚醒詞，并且最大值對(duì)應(yīng)的候選信號(hào)所對(duì)應(yīng)的基準(zhǔn)方向是所述音頻信號(hào)的聲源方向；

若否，則確定候選信號(hào)的內(nèi)容均不包括所述喚醒詞。

3.如權(quán)利要求2所述的終端設(shè)備的語(yǔ)音喚醒方法，其特征在于，所述根據(jù)所有第一訓(xùn)練數(shù)據(jù)集訓(xùn)練聲源定位模型的步驟包括：

利用卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練聲源定位模型；

所述根據(jù)所有第二訓(xùn)練數(shù)據(jù)集訓(xùn)練喚醒詞識(shí)別模型的步驟包括：

以樣本波束信號(hào)在所述卷積神經(jīng)網(wǎng)絡(luò)中最后一個(gè)卷積層的數(shù)據(jù)為輸入來訓(xùn)練喚醒詞識(shí)別模型；

將N個(gè)候選信號(hào)依次輸入所述喚醒詞識(shí)別模型的步驟包括：

將N個(gè)候選信號(hào)在所述卷積神經(jīng)網(wǎng)絡(luò)中的最后一個(gè)卷積層的數(shù)據(jù)依次輸入所述喚醒詞識(shí)別模型。

4.如權(quán)利要求2所述的終端設(shè)備的語(yǔ)音喚醒方法，其特征在于，當(dāng)判斷所述計(jì)數(shù)值達(dá)到計(jì)數(shù)閾值時(shí)，所述根據(jù)所述喚醒詞喚醒所述終端設(shè)備的步驟包括：

判斷包括當(dāng)前音頻信號(hào)的連續(xù)計(jì)數(shù)閾值個(gè)音頻信號(hào)的聲源方向是否相同；

若是，則根據(jù)所述喚醒詞喚醒所述終端設(shè)備。