[發明專利]一種基于雙麥克風系統檢測和定位無聲語音指令的方法

有效

• 申請號: 202011004171.3
• 申請日: 2020-09-22
• 公開（公告）號: CN112216304B
• 公開（公告）日: 2022-02-18
• 發明（設計）人: 張國明;徐文淵;冀曉宇
• 申請（專利權）人: 浙江大學
• 主分類號: G10L25/51
• 分類號: G10L25/51;G10L25/03;H04S1/00;H04S7/00
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 鄭海峰

本發明公開了一種基于雙麥克風系統檢測和定位無聲語音指令的方法。所述方法利用智能設備上的雙麥克風系統對“海豚音攻擊”進行檢測和定位。通過對聲音信號進行預處理和特征提取，繼而訓練二分類機器學習模型，利用訓練好的模型進行無聲語音指令的檢測，這種方法可以有效的識別接收到的語音指令是“無聲”的還是正常的指令，進而取消無聲指令的識別和執行，然后對攻擊者進行定位，從而更快的發現攻擊者。

技術領域

本發明涉及人工智能語音助手安全領域，特別是涉及一種基于雙麥克風系統檢測和定位無聲語音指令的方法。

背景技術

目前越來越多的智能設備搭配有諸如Siri，Alexa，Cortana之類的語音助手，它們為人機交互提供了自然且方便的一種交互方式，即可通過語音命令與智能設備進行交互。與此同時語音助手面臨的安全問題不容忽視。例如，無聲語音命令“海豚音攻擊”[Zhang,G.,Yan,C.,Ji,X.,Zhang,T.,Zhang,T.,Xu,W.(2017).DolphinAtack:Inaudible VoiceCommands.arXiv preprint arXiv:1708.09537.]通過注入無聲語音命令來激活在線的語音識別系統，實現了對25種搭配有智能語音助手設備的攻擊(包括Apple iPhone，GoogleNexus，Amazon Echo，汽車等)，“海豚音攻擊”可以激活Siri發起FaceTime通話，激活Alexa去購物等，這將帶來嚴重的隱私和其他安全問題。

“海豚音攻擊”是利用智能設備的硬件漏洞而發起的一種新型攻擊，目前還沒有具體可行的防御方案，有報道提出兩種防御方案：基于硬件的防御方案和基于機器學習的防御方案。

其中基于硬件的解決方案是建議生產廠商重新設計麥克風電路使得高頻聲音不能被麥克風接受，或者硬件電路識別到高頻的聲音后將其濾除。

基于機器學習的防御方案是利用可聽聲音和不可聽聲音之間的差異，通過機器學習的方法，區分正常指令和不可聽指令。文中[1]利用支持向量機(Support VectorMachine,SVM)成功區分出了正常的聲音和不可聽的聲音指令“Hey”。具體操作如下

第一步：用手機錄下5個可聽的語音指令‘Hey’作為正樣本，然后錄下不可聽的語音指令“Hey”作為負樣本。

第二步：使用這些正負樣本訓練SVM分類器。

第三步：使用訓練好的分類器識別可聽與不可聽語音指令。

現有技術提出的基于軟硬件的防御方案的不足之處在于：

1.廠家是無法對已經出售的智能設備進行硬件上的改進或者說召回成本是廠家無法承受的。

2.麥克風電路能夠接受超聲波是一直存在的問題，盡管隨著技術，工藝的進步和發展，也未能有效的解決，因此基于硬件的防御方案是一種高成本，難度大，周期長的防御方案，不能有效的解決目前存在的問題。

3.現有技術中基于軟件的方案只在一臺智能設備，測試了一句語音指令“Hey”，因此不能確定該方法能否在不同智能設備，不同語音指令，不同人聲的防御效果。

發明內容

本發明的目的是克服已有技術的缺陷，為了解決語音助手容易受到“海豚音攻擊”問題，提出基于智能設備上的雙麥克風系統檢測和定位無聲語音指令的方法。

本發明基于雙麥克風系統檢測和定位無聲語音指令的方法，其包括如下步驟：

1)通過雙麥克風系統采集左右聲道的聲音信號；

2)信號預處理

通過端點檢測算法將采集到的信號中的靜音片段切除；然后對兩個聲道的語音信號進行歸一化處理；

3)特征提取