[發(fā)明專利]端到端流關(guān)鍵詞檢出

在審

• 申請?zhí)枺?/td>: 201980044566.5
• 申請日: 2019-06-13
• 公開（公告）號: CN112368769A
• 公開（公告）日: 2021-02-12
• 發(fā)明（設(shè)計）人: 拉吉爾·阿爾瓦雷茨·格瓦拉;樸玄振
• 申請（專利權(quán)）人: 谷歌有限責任公司
• 主分類號: G10L15/16
• 分類號: G10L15/16;G10L15/22;G06N3/04
• 代理公司: 中原信達知識產(chǎn)權(quán)代理有限責任公司 11219
• 代理人: 周亞榮;鄧聰惠

一種用于檢測熱詞的方法(600)包括：接收表征由用戶設(shè)備(102)捕獲的流音頻(118)的輸入幀(210)的序列，和使用記憶神經(jīng)網(wǎng)絡(luò)(300)生成指示在流音頻中存在熱詞的概率分數(shù)(350)。該網(wǎng)絡(luò)包括順序堆疊的單值分解過濾器(SVDF)層(302)，并且每個SVDF層包括至少一個神經(jīng)元(312)。每個神經(jīng)元包括相應的存儲器組件(330)；第一級(320)，其被配置成單獨地對每個輸入幀的音頻特征(410)執(zhí)行過濾并輸出到存儲器組件；以及第二級(340)，其被配置成對駐留在相應的存儲器組件中的所有所過濾的音頻特征執(zhí)行過濾。該方法還包括確定概率分數(shù)是否滿足熱詞檢測閾值，以及在用戶設(shè)備上發(fā)起喚醒過程以處理附加的詞語。

技術(shù)領(lǐng)域

本公開涉及用于檢出流音頻中的關(guān)鍵詞的端對端系統(tǒng)。

背景技術(shù)

支持語音的環(huán)境(例如，家、工作場所、學校、汽車等)允許用戶向基于計算機的系統(tǒng)大聲講出查詢或命令，該基于計算機的系統(tǒng)處理和回答該查詢和/或基于該命令來執(zhí)行功能。能夠使用通過環(huán)境的各個空間或區(qū)域分布的連接的麥克風設(shè)備的網(wǎng)絡(luò)來實現(xiàn)支持語音的環(huán)境。與針對存在于環(huán)境中的另一個人的話語相反，這些設(shè)備可以使用熱詞來幫助辨別何時將給定話語指向系統(tǒng)。因此，設(shè)備可以在睡眠狀態(tài)或休眠狀態(tài)下操作并且只有當檢測到的話語包括熱詞時才喚醒。神經(jīng)網(wǎng)絡(luò)最近已作為用于訓練模型以檢測流音頻中由用戶講出的熱詞的有吸引力的解決方案出現(xiàn)。通常，用于在流音頻中檢測熱詞的系統(tǒng)包括信號處理前端組件、神經(jīng)網(wǎng)絡(luò)聲學編碼器組件和人工設(shè)計的解碼器組件。這些組件通常被彼此獨立地訓練，從而產(chǎn)生附加復雜性并且與聯(lián)合地訓練所有組件相比為次優(yōu)的。

發(fā)明內(nèi)容

本公開的一個方面提供一種用于在流音頻中檢測熱詞的方法。該方法包括：在用戶設(shè)備的數(shù)據(jù)處理硬件處接收輸入幀的序列，每個輸入幀包括表征由用戶設(shè)備捕獲的流音頻的相應的音頻特征；以及通過數(shù)據(jù)處理硬件，使用記憶神經(jīng)網(wǎng)絡(luò)來生成指示在流音頻中存在熱詞的概率分數(shù)。記憶神經(jīng)網(wǎng)絡(luò)包括順序堆疊單值分解過濾器(SVDF)層，其中，每個SVDF層包括至少一個神經(jīng)元。每個神經(jīng)元包括相應的存儲器組件、第一級和第二級。相應的存儲器組件與對應神經(jīng)元的相應的存儲器容量相關(guān)聯(lián)。第一級被配置成單獨地對每個輸入幀的相應的音頻特征執(zhí)行過濾并且將過濾后的音頻特征輸出到相應的存儲器組件。第二級被配置成對駐留在相應的存儲器組件中的所有過濾后的音頻特征執(zhí)行過濾。該方法也包括：通過數(shù)據(jù)處理硬件確定概率分數(shù)是否滿足熱詞檢測閾值；以及當概率分數(shù)滿足熱詞檢測閾值時，通過數(shù)據(jù)處理硬件在用戶設(shè)備上發(fā)起喚醒過程以用于處理熱詞和/或音頻流中緊跟該熱詞之后的一個或多個其他詞語。

本公開的實施方式可以包括以下任選特征中的一個或多個。在一些實施方式中，與用于來自SVDF層中的每一個的神經(jīng)元的相應的存儲器組件相關(guān)聯(lián)的存儲器容量的和為記憶神經(jīng)網(wǎng)絡(luò)提供與一般講話者講出熱詞花費的時間長度成比例的固定存儲器容量。在一些示例中，與相應的存儲器組件中的至少一個相關(guān)聯(lián)的相應的存儲器容量不同于與剩余存儲器組件相關(guān)聯(lián)的相應的存儲器容量。在其他示例中，與所有SVDF層的相應的存儲器組件相關(guān)聯(lián)的相應的存儲器容量是相同的。