[發(fā)明專利]基于智能終端的安全語音交互方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010003312.3
• 申請(qǐng)日: 2020-01-03
• 公開（公告）號(hào): CN111161753B
• 公開（公告）日: 2022-08-05
• 發(fā)明（設(shè)計(jì)）人: 朱弘恣;王瀟;常姍;王旭東
• 申請(qǐng)（專利權(quán)）人: 上海交通大學(xué)
• 主分類號(hào): G10L21/0208
• 分類號(hào): G10L21/0208;G10L21/0216;G10L25/84
• 代理公司: 上海交達(dá)專利事務(wù)所 31201
• 代理人: 王毓理;王錫麟

1.一種基于智能終端的安全語音交互方法，其特征在于，在需要采集音頻信號(hào)時(shí)通過智能終端主動(dòng)產(chǎn)生干擾噪聲與待采集音頻疊加，然后智能終端基于干擾噪聲的先驗(yàn)知識(shí)，在接收信號(hào)上自適應(yīng)消噪并提取出待采集音頻；

所述的干擾噪聲，根據(jù)歷史記錄混合生成語義混淆且頻譜與待采集音頻近似的信號(hào)；

所述的干擾噪聲，具體通過以下方式得到：首先收集用戶自身的失真的語音錄音，并對(duì)采集設(shè)備造成的失真進(jìn)行補(bǔ)償，產(chǎn)生與用戶真實(shí)聲音頻譜非常相似的語音記錄；然后隨機(jī)選擇多個(gè)語音記錄進(jìn)行混合以混淆用戶語音的語義。

2.根據(jù)權(quán)利要求1所述的基于智能終端的安全語音交互方法，其特征是，所述的補(bǔ)償是指：先測(cè)量智能設(shè)備的頻率響應(yīng)，然后結(jié)合數(shù)字信號(hào)處理算法，將失真的語音錄音還原為與用戶真實(shí)聲音有相同特征的聲音信號(hào)。

3.根據(jù)權(quán)利要求1所述的基于智能終端的安全語音交互方法，其特征是，所述的混合是指：將多段語音信號(hào)在時(shí)域上疊加，合并為一個(gè)聲音信號(hào)。

4.根據(jù)權(quán)利要求1所述的基于智能終端的安全語音交互方法，其特征是，所述的自適應(yīng)消噪是指：先將干擾噪聲與接收信號(hào)進(jìn)行互相關(guān)運(yùn)算，以獲得待采集音頻的起始位置；然后以起始位置開始的兩秒接收信號(hào)為前導(dǎo)碼，對(duì)交互設(shè)備的播放設(shè)備到采集設(shè)備的信道進(jìn)行粗略估計(jì)，并借此推斷采集的音頻信號(hào)中用戶實(shí)際交互的時(shí)間區(qū)間；獲得音頻信號(hào)的區(qū)間信息后，對(duì)只有干擾噪聲的區(qū)間內(nèi)的信號(hào)進(jìn)行自適應(yīng)信道估計(jì)，連續(xù)跟蹤時(shí)變信道；對(duì)于接收信號(hào)的起始位置兩秒后開始的用戶語音區(qū)間，采用自適應(yīng)信道估計(jì)得到的更新后的信道估計(jì)以消除干擾噪聲。

5.根據(jù)權(quán)利要求4所述的基于智能終端的安全語音交互方法，其特征是，所述的待采集音頻的起始位置是指：使用干擾噪聲的前兩秒信號(hào)與所采集的聲音進(jìn)行互相關(guān)運(yùn)算，獲得不同對(duì)齊位置下的相關(guān)值；當(dāng)兩個(gè)信號(hào)對(duì)齊時(shí)，互相關(guān)的值達(dá)到最大，即待采集音頻的起始位置；

所述的粗略估計(jì)是指：暫不考慮信道的時(shí)變性，將最開始兩秒信號(hào)計(jì)算出的頻率響應(yīng)看作整段信號(hào)的頻率響應(yīng)；

所述的時(shí)間區(qū)間是指：用粗略估計(jì)的信道響應(yīng)估計(jì)采集到的干擾噪聲，這個(gè)估計(jì)結(jié)果包含了采集到的干擾噪聲的大部分能量，將其從錄音信號(hào)中減去，得到主要包含用戶語音和環(huán)境噪聲的剩余信號(hào)，然后，利用滑動(dòng)窗口計(jì)算剩余信號(hào)每個(gè)窗口內(nèi)的能量，判斷能量是否大于閾值劃分用戶語音區(qū)間和非用戶語音區(qū)間；

所述的自適應(yīng)信道估計(jì)具體過程為：利用頻域自適應(yīng)濾波器持續(xù)估計(jì)時(shí)變的信道響應(yīng)：首先用滑動(dòng)窗口對(duì)非用戶語音區(qū)間的錄音信號(hào)和對(duì)應(yīng)的原始干擾噪聲信號(hào)進(jìn)行傅里葉變換得到其頻域表示；隨機(jī)假設(shè)一個(gè)頻率響應(yīng)估計(jì)值并據(jù)此計(jì)算當(dāng)前窗口內(nèi)錄音信號(hào)的估計(jì)值，根據(jù)估計(jì)的錄音信號(hào)和實(shí)際錄音信號(hào)得到當(dāng)前窗口的估計(jì)誤差，將此估計(jì)誤差看作代價(jià)函數(shù)；當(dāng)頻響估計(jì)值與實(shí)際的頻響一致時(shí)估計(jì)誤差達(dá)到最小，因此利用梯度下降法隨滑動(dòng)窗口迭代更新頻率響應(yīng)的估計(jì)值以最小化代價(jià)函數(shù)直到其收斂，即可得到隨時(shí)間實(shí)時(shí)估計(jì)的頻率響應(yīng)。

6.根據(jù)權(quán)利要求1或4所述的基于智能終端的安全語音交互方法，其特征是，所述的自適應(yīng)消噪，進(jìn)一步進(jìn)行殘余噪聲衰減以去除由于信道估計(jì)誤差而產(chǎn)生的剩余噪聲以及環(huán)境噪聲，從而得到最終純凈的用戶語音；

所述的殘余噪聲衰減是指：采用譜減法降低殘余噪聲，自適應(yīng)消噪后的殘余噪聲在整段信號(hào)中具有相似的能譜分布，對(duì)非用戶語音區(qū)間的殘余信號(hào)的頻譜進(jìn)行采樣，得到各頻率上噪聲的平均能量作為閾值；對(duì)于用戶語音區(qū)間，將信號(hào)的頻譜與閾值進(jìn)行比較，如果某一頻率的幅值低于相應(yīng)的閾值，則視該頻率分量為噪聲，并按比例衰減。

7.一種實(shí)現(xiàn)上述任一權(quán)利要求所述方法的安全的語音交互系統(tǒng)，其特征在于，包括：噪聲干擾模塊和干擾噪聲自消除模塊，其中：噪聲干擾模塊分別與智能終端的播放設(shè)備和干擾噪聲自消除模塊相連并輸出干擾噪聲，干擾噪聲自消除模塊分別與智能終端的采集設(shè)備和噪聲干擾模塊相連并根據(jù)接收信號(hào)和干擾噪聲提取得到待采集音頻。