[發明專利]基于隱私保護的語音數據處理方法

有效

• 申請號: 201911117487.0
• 申請日: 2019-11-15
• 公開（公告）號: CN110992957B
• 公開（公告）日: 2023-09-08
• 發明（設計）人: 張光林;倪思帆;趙萍
• 申請（專利權）人: 東華大學
• 主分類號: G10L15/26
• 分類號: G10L15/26;G10L21/003;G10L21/007;G06F40/295;G06F18/24;G06N20/00
• 代理公司: 上海申匯專利代理有限公司 31001
• 代理人: 徐俊;柏子雵

本發明涉及一種基于隱私保護的語音數據處理方法，一個實施例的方法包括：建立語音數據模型，定義了語音數據發布中存在的隱私保護問題，根據語音數據模型定義了語音內容，說話人的聲音以及數據集標簽這三個方面存在的隱私風險和數據有效性；進一步考慮語音內容和說話人的聲音兩者之間的相關性，并把它作為一種新的隱私風險；利用機器學習中的分類器來解決由語音內容和說話人的聲音的相關性導致的隱私風險問題；利用適當的數據處理方法來分別處理語音內容，說話人的聲音以及數據集標簽這三部分，實現了隱私風險和數據有效性之間的平衡。本實例能夠提高語音數據的隱私保護的安全性，同時保證語音數據的有效性。

技術領域

本發明涉及數據處理技術領域，特別是涉及一種基于隱私保護的語音數據處理方法。

背景技術

在大數據時代，越來越多的語音數據被發布，以用于改善基于語音的服務或學術研究。但在語音數據發布過程中存在著隱私泄露的風險。例如，在語音數據發布中，攻擊者如果知道特定用戶的語音數據，則可以通過分析語音數據來了解用戶的敏感信息。因此，在語音數據發布中，防止攻擊者侵犯用戶隱私是非常重要的。語音數據包括三個方面:語音內容，說話者的聲音以及數據集標簽，這三個方面都包含了用戶的隱私信息。具體來說，語音內容能夠直接反映用戶的信息。例如，如果用戶在購物軟件上的語音數據被泄露，攻擊者可以通過分析文本輕松了解用戶的職業、偏好、生活習慣等。此外，通過檢測說話者的聲音，攻擊者還可以獲得用戶的性別、年齡、位置、宗教信仰等隱私信息。最后，數據集標簽也包含了隱私信息。假設一個語音數據屬于“A學院的男生”這一數據集，那么攻擊者將知道用戶的性別和學校。現有的研究中有一部分是只考慮了語音數據中說話人聲紋的隱私保護問題，是通過利用安全多方計算的方法來保護說話人的聲紋。也有研究者試圖在實現隱私保護的同時，保證語音數據本身的質量。然而，這些工作都忽略了語音內容與說話人聲音的相關性，因此在語音數據發布中并不能完全地保護用戶的隱私，因為攻擊者仍然可以利用語音內容與說話人聲音的相關性來過濾那些經過隱私保護處理的語音數據。

發明內容

本發明的目的是：保證語音數據在發布過程的隱私安全，同時保證語音數據的有效性。

為了達到上述目的，本發明的技術方案是提供了一種基于隱私保護的語音數據處理方法，其特征在于，包括以下步驟：

步驟1、定義語音數據集D＝(cate,S)，其中，cate是數據集標簽；S是語音數據，包括語音內容c和說話人的聲音v，語音內容c是語音數據的文本信息，說話人的聲音v體現用戶的身份信息，說話人的聲音v和語音內容c之間存在映射關系，即F:c→v，稱F為c和v之間的相關性；

定義語音數據發布中存在的隱私保護問題，對于一條語音數據S，定義隱私泄漏風險的五個指標，分別為文本、語音屬性、聲紋、成員關系和相關性泄漏風險，分別用P_t^s,P_m,表示，其中，P_m只與數據集標簽cate有關，每條語音數據S的總的隱私泄露風險表示為：其中，f_p是求和函數；

定義四個有效性損失指標分別為文本可靠性損失、語音多樣性損失、語音質量損失和數據集清晰度損失，分別用U_t,U_vd,U_sq,U_dc,U_co表示，語音數據集D的總的有效性損失表示為：U＝f_u(U_t,U_vd,U_sq,U_dc,U_co)，其中，f_u是一個求和函數；

步驟2、對語音數據集D的類型描述cate進行處理，成員關系P_m隨著處理方式x的不同而變化，表示成P_m＝f₁(x)，同時造成了數據清晰度損失U_dc＝f₂(x)；