[發(fā)明專利]一種基于對抗樣本的語音數(shù)據(jù)隱私保護(hù)方法

在審

• 申請?zhí)枺?/td>: 202110271786.0
• 申請日: 2021-03-12
• 公開（公告）號: CN113129875A
• 公開（公告）日: 2021-07-16
• 發(fā)明（設(shè)計）人: 陳雙喜;肖文紅;馬方超;劉會;吳至禹
• 申請（專利權(quán)）人: 嘉興職業(yè)技術(shù)學(xué)院
• 主分類號: G10L15/065
• 分類號: G10L15/065
• 代理公司: 嘉興啟帆專利代理事務(wù)所(普通合伙) 33253
• 代理人: 程開生

本發(fā)明公開了一種基于對抗樣本的語音數(shù)據(jù)隱私保護(hù)方法，用于保護(hù)用戶的隱私語音數(shù)據(jù)，包括步驟S1：加載語音識別模型D；步驟S2：根據(jù)語音識別模型D對用戶的音頻數(shù)據(jù)x進(jìn)行預(yù)檢測，以獲得概率分布矩陣D(x)的識別結(jié)果。本發(fā)明公開的一種基于對抗樣本的語音數(shù)據(jù)隱私保護(hù)方法，其建立了生成對抗樣本的損失函數(shù)，并設(shè)置一定的損失函數(shù)閾值，通過多次迭代的方法優(yōu)化用戶的音頻數(shù)據(jù)以生成針對語音識別模型的對抗樣本，使得在隱私的語音數(shù)據(jù)上添加擾動后，用戶的私密談話內(nèi)容能夠被人聽清，聽覺體驗不會受到影響，但是智能設(shè)備卻無法識別、分析用戶的說話內(nèi)容。

技術(shù)領(lǐng)域

本發(fā)明屬于語音數(shù)據(jù)隱私保護(hù)技術(shù)領(lǐng)域，具體涉及一種基于對抗樣本的語音數(shù)據(jù)隱私保護(hù)方法。

背景技術(shù)

深度學(xué)習(xí)技術(shù)已經(jīng)應(yīng)用到日常生活的各個方面，尤其是在語音識別、圖片識別、目標(biāo)檢測等方面。但是隨著深度學(xué)習(xí)技術(shù)的發(fā)展，其帶來的隱私問題也受到了用戶的不斷關(guān)注。當(dāng)用戶進(jìn)行私密談話時，語音助手可能會偷偷記錄下用戶的談話內(nèi)容，并在未經(jīng)用戶允許的情況下將語音數(shù)據(jù)上傳至服務(wù)器，這些私密的語音數(shù)據(jù)可能會被非法倒賣，或用于訓(xùn)練商業(yè)公司的人工智能模型。深度學(xué)習(xí)技術(shù)同樣可以從泄露的語音數(shù)據(jù)中提取用戶的私密信息，如：家庭住址、人際關(guān)系、個人喜好等，通過這些信息，商業(yè)公司就可以給用戶推送相應(yīng)的廣告，或進(jìn)行其他的商業(yè)活動。循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)在語音識別方面取得了很好的效果，它通過輸入的音頻信號得到字符的概率分布序列，再通過該概率分布序列推出音頻信號所對應(yīng)的句子，由百度公司研發(fā)的基于深度學(xué)習(xí)技術(shù)的DeepSpeech是當(dāng)下主流的語音識別系統(tǒng)。

在大數(shù)據(jù)時代，越來越多的語音數(shù)據(jù)被發(fā)布，以用于改善基于語音的服務(wù)或?qū)W術(shù)研究。但在語音數(shù)據(jù)發(fā)布過程中存在著隱私泄露的風(fēng)險。例如，在語音數(shù)據(jù)發(fā)布中，攻擊者如果知道特定用戶的語音數(shù)據(jù)，則可以通過分析語音數(shù)據(jù)來了解用戶的敏感信息。

雖然深度學(xué)習(xí)技術(shù)已經(jīng)取得了廣泛的應(yīng)用，但是越來越多的研究表明這項技術(shù)本身存在著許多安全隱患。GoodFellow等人提出了快速梯度符號法(FGSM)，這是一種針對深度學(xué)習(xí)模型的對抗樣本生成算法，該方法通過在深度學(xué)習(xí)模型的輸入上施加細(xì)微的擾動，使得深度學(xué)習(xí)模型產(chǎn)生錯誤的預(yù)測結(jié)果，這是目前主流的對抗樣本生成算法之一。本發(fā)明提出了一種基于梯度、多次迭代的對抗樣本生成方法，構(gòu)建生成對抗樣本的損失函數(shù)并進(jìn)行迭代優(yōu)化以生成人耳不可察覺的擾動，使得在隱私的語音數(shù)據(jù)上添加擾動后，用戶的私密談話內(nèi)容能夠被人聽清，但是智能設(shè)備卻無法識別、分析用戶的說話內(nèi)容，在將音頻數(shù)據(jù)上傳后也無法對其進(jìn)行非法利用，以此保護(hù)用戶的隱私語音數(shù)據(jù)。

發(fā)明內(nèi)容

本發(fā)明的主要目的在于提供一種基于對抗樣本的語音數(shù)據(jù)隱私保護(hù)方法，其建立了生成對抗樣本的損失函數(shù)，并設(shè)置一定的損失函數(shù)閾值，通過多次迭代的方法優(yōu)化用戶的音頻數(shù)據(jù)以生成針對語音識別模型的對抗樣本，使得在隱私的語音數(shù)據(jù)上添加擾動后，用戶的私密談話內(nèi)容能夠被人聽清，聽覺體驗不會受到影響，但是智能設(shè)備卻無法識別、分析用戶的說話內(nèi)容，在將音頻數(shù)據(jù)上傳后也無法對其進(jìn)行非法利用，從而保護(hù)了用戶的私密音頻數(shù)據(jù)。

本發(fā)明的另一目的在于提供一種基于對抗樣本的語音數(shù)據(jù)隱私保護(hù)方法，對于非線性程度較高的語音識別系統(tǒng)，一步迭代生成對抗樣本的方式效果并不顯著，本發(fā)明采取建立生成對抗樣本的損失函數(shù)，設(shè)定損失閾值，通過使用小步長并多次迭代的方法生成對抗樣本，相比于采用大步長一步迭代的方法更為高效，同時利用對抗樣本的可遷移性，即針對某一模型生成的對抗樣本對于其他的模型同樣有一定的效果，本發(fā)明可更加有效的防止音頻數(shù)據(jù)遭到各種智能設(shè)備的竊取。

為達(dá)到以上目的，本發(fā)明提供一種基于對抗樣本的語音數(shù)據(jù)隱私保護(hù)方法，用于保護(hù)用戶的隱私語音數(shù)據(jù)，其特征在于，包括以下步驟：

步驟S1：加載語音識別模型D(例如DeepSpeech)；

步驟S2：根據(jù)語音識別模型D對用戶的音頻數(shù)據(jù)x進(jìn)行預(yù)檢測，以獲得概率分布矩陣D(x)的識別結(jié)果，其中：

D(x)表示音頻數(shù)據(jù)x的每一幀對應(yīng)于英文中26個字符的概率分布矩陣；