[發明專利]基于隱私保護的語音數據處理方法

有效

• 申請號: 201911117487.0
• 申請日: 2019-11-15
• 公開（公告）號: CN110992957B
• 公開（公告）日: 2023-09-08
• 發明（設計）人: 張光林;倪思帆;趙萍
• 申請（專利權）人: 東華大學
• 主分類號: G10L15/26
• 分類號: G10L15/26;G10L21/003;G10L21/007;G06F40/295;G06F18/24;G06N20/00
• 代理公司: 上海申匯專利代理有限公司 31001
• 代理人: 徐俊;柏子雵

1.一種基于隱私保護的語音數據處理方法，其特征在于，包括以下步驟：

步驟1、定義語音數據集D＝(cate,S)，其中，cate是數據集標簽；S是語音數據，包括語音內容c和說話人的聲音v，語音內容c是語音數據的文本信息，說話人的聲音v體現用戶的身份信息，說話人的聲音v和語音內容c之間存在映射關系，即F:c→v，稱F為c和v之間的相關性；

定義語音數據發布中存在的隱私保護問題，對于一條語音數據S，定義隱私泄漏風險的五個指標，分別為文本、語音屬性、聲紋、成員關系和相關性泄漏風險，分別用表示，其中，P_m只與數據集標簽cate有關，每條語音數據S的總的隱私泄露風險表示為：其中，f_p是求和函數；

定義五個有效性損失指標分別為文本可靠性損失、語音多樣性損失、語音質量損失和數據集清晰度損失，分別用U_t,U_vd,U_sq,U_dc,U_co表示，語音數據集D的總的有效性損失表示為：U＝f_u(U_t,U_vd,U_sq,U_dc,U_co)，其中，f_u是一個求和函數；

步驟2、對語音數據集D的類型描述cate進行處理，成員關系P_m隨著處理方式x的不同而變化，表示成P_m＝f₁(x)，同時造成了數據清晰度損失U_dc＝f₂(x)；

對語音內容c進行處理，此時文本泄漏風險P_t^s＝f₃^s(y^s)，y^s中的上標s表示語音數據集D中的每一條語音數據S都進行處理，f₃^s中的上標表示每一條語音數據S的處理方法會有所不同，對語音內容c的處理，造成語音內容c的可靠性U_t損失，使得其中

使用語音轉換技術，對說話人的聲音v進行處理，同時減少聲音屬性和聲紋的泄露此時使用語音轉換技術后，對語音多樣性損失U_vd和語音質量損失U_sq產生影響，其中U_vd＝f₇(z¹,z²,...,z^N)，N是語音數據集D中的語音數據的總數，z表示語音轉換，U_vd是由N條語音數據s共同決定的；語音質量損失U_sq表示成N條語音數據各自的損失的累加值，即其中y表示關鍵字擾動，在用關鍵字擾動y或者語音轉換z對語音數據S進行處理后，會增加語音數據中說話人的聲音v和語音內容c的不匹配度，導致這條語音顯得十分突兀，更容易引起攻擊者的注意，從而增加了隱私泄露的風險，將這種風險稱為相關性泄露風險此外，相關性的降低也會影響該數據集的有效性U_co＝f₁₀(y^s,z^s)，相關性損失U_co也會受到關鍵字擾動y和語音轉換z的影響；

步驟3、基于步驟2得到的結論，將語音數據集D的總的有效性損失U＝f_u(U_t,U_vd,U_sq,U_dc,U_co)以及每條語音數據S的總的隱私泄露風險進一步表示為：

P^s＝f_p(f₃^s(y^s),f₅^s(z^s),f₆^s(z^s),f₁(x),f₉^s(y^s,z^s))；

步驟4、從語音內容c，說話人的聲音v和數據集標簽cate這三個方面，分別對隱私泄露風險P^S和有效性損失U進行具體的定義與量化：

對語音內容c而言，存在文本內容的隱私泄露風險P_t^s和文本可靠性損失U_t兩個指標，具體定義如下：

文本內容的隱私泄露風險P_t^s：將每條語音數據中各個單詞的TF-IDF值之和定義為P_t^s；

文本可靠性損失U_t：當替換或者去掉原始的文本內容中的敏感部分，會引起文本可靠性損失，把插入或者刪除一個單詞帶來的損失設為1，當替換一個單詞時，替換帶來的損失取決于替換的單詞和原始單詞的相似度，如果替換的單詞和原始單詞從語法和語義上都很接近，帶來的損失r就很小，因此每條語音數據的損失表達成其中，s表示替換的單詞數，d表示刪除的單詞數，i表示插入的單詞數，N表示處理過后的一條語音數據中的全部單詞數，從而保證

則整個語音數據集D的損失U_t通過計算全部語音數據的損失的平均值N表示該語音數據集D中的總的語音數據條數；

對說話人的聲音v而言，存在聲音屬性的隱私泄露風險聲紋的隱私泄露風險以及語音多樣性損失U_dv和語音質量損失四個指標，具體定義如下：

聲音屬性的隱私泄露風險通過對聲音的分析，攻擊者可以獲得受害者的聲音屬性，假設總共可以獲得n₁種聲音屬性，每種聲音屬性的重要程度用a_i(1≤i≤n₁)表示，可得

聲紋的隱私泄露風險p_vp是一個0到1之間的常數，用來表示聲紋的泄露程度，當p_vp＝1時，意味聲紋已經完全泄露出去了，攻擊者可以利用獲得的聲紋，以100％的成功率順利通過基于聲紋的身份認證，當聲音經過特殊處理后，p_vp的值會降低；

聲音多樣性的損失聲音多樣性取決于說話人的性別、年齡和地區的多樣性，分別計算數據處理前后的性別、年齡和地區的聯合分布函數(Q₁,Q₂)，將U_vd定義為Q₁,Q₂之間的距離：用Hellinger?distance作為U_vd的度量標準；

語音質量的損失采用國際電信聯盟提供的主觀語音質量評估PESQ來評估一段語音數據的語音質量好壞，主觀語音質量評估PESQ表示的是經過處理后的語音和參考語音之間的相似度，語音質量的損失表示成

對數據集標簽cate而言，存在成員關系的隱私泄露風險P_m以及數據清晰度的損失U_dc兩個指標，具體定義如下：

隱私泄露風險P_m：攻擊者可以從數據集標簽cate中獲得一些屬性，假設總共可以獲得n₂種屬性，每種屬性的重要程度用b_i(1≤i≤n₂)表示，可得

數據清晰度的損失U_dc：假設一個數據集被n₃個使用者所使用，用w_i表示各個使用者對數據清晰度要求的高低，出于歸一化的考慮，令在對類型描述進行處理后，若仍有n₃′個使用者，定義為集合K，對數據清晰度感到滿意，則數據清晰度的損失U_dc可表示為

步驟5、考慮語音內容c和說話人的聲音v兩者之間的相關性F，并把相關性F作為一種新的隱私風險包括以下步驟：

步驟501、將語音數據集D中的語音數據S按照用戶的年齡劃分成三類，即少年、青年和中年三個年齡段，即S＝{S₁,S₂,S₃}，其中，S₁、S₂、S₃依次是少年、青年和中年的語音數據；s_i＝(v_i,c_i)∈S_i，i＝{1,2,3}；

步驟502、找到少年、青年和中年各自特有的詞匯庫，把少年、青年和中年的詞匯庫依次定義為G₁,G₂,G₃，把少年、青年和中年的年齡依次定義為E₁,E₂,E₃；

步驟503、若一條聲音為G_i的語音數據中出現了n^*個G_j中的詞匯，i＝1,2,3，j＝1,2,3且j≠i，若n^*超過了一定的數量n₀認為產生了相關性泄露，即

步驟6、分別對語音內容c，說話人的聲音v和數據集標簽cate進行處理，包括以下步驟：

對語音內容c的處理：

把TF-IDF值大于門限值δ的單詞稱為關鍵字，一條語音數據的文本泄露風險P_t^s是各個單詞的TF-IDF值的相加，即通過更改或者替換TF-IDF值較大的單詞來降低P_t^s，對語音內容c的處理分為以下三個步驟：

(1)利用語音識別技術，從語音數據中獲得相應的文本內容，然后利用關鍵字識別技術找到關鍵字；

(2)利用DTW技術，在語音流中確定這些關鍵字的位置；

(3)在語音流中，對這些關鍵字進行替換或者刪除，其中，替換的原則是用同類型的其它詞來替換關鍵字，在替換時，為了消除語音數據中文本內容和聲音的相關性泄露風險根據說話人的聲音到對應的詞匯庫中選擇用于替換的單詞，使得相關性泄露風險為0，用r來表示替換前后兩個詞之間的相似度，兩個詞之間的相似性越高，r越接近0，假設n個關鍵字被替換后，產生的文本可靠性損失為：刪除相當于r＝1的特殊情況；

利用命名實體進行關鍵字識別；

對說話人的聲音v的處理：

采用語音轉換技術來改變每條語音數據的聲音

對數據集標簽cate的處理：

假設數據集標簽cate由n個部分組成{a₁,a₂,...,a_n}，通過刪除若干個a_i從而減小成員關系泄露P_m的值，使其小于設定的預算值，為了成員關系泄露P_m與數據清晰度損失U_dc之間的最優化，采用貪心策略，將{a₁,a₂,...,a_n}按照重要性從高到低重新排序，每次從最底層的a_i開始刪除，當P_m低于預算值時就停止；

步驟7、將隱私泄露風險P^S和有效性損失U分成三個子問題來討論，這三個子問題分別對應下式中的限制條件1、2、3：

先將和記為和設這五個風險指標的初始值依次為P_to,P_vao,P_vpo,P_coo,P_mo，都是關于參數α的函數，因此，將這兩者的加權和作為一個整體考慮；相對應地，也做相同的處理，β_i,ω_i表示權重系數，權重系數的值越大，表明對某個指標更加重視；

解決上述三個子問題的基本原則是使各個風險指標盡可能地靠近或者等于設定的預算值，這樣就會讓最終產生地有效性損失的值是最小的；

P_t^s≤β₁P為限制條件1，對于限制條件1：因為P_t^s、都是關于門限值λ的函數，通過計算P_t^s(λ₀)＝β₁P就能得到最優解λ＝λ₀；

為限制條件2，對于限制條件2:P_v^s是關于彎曲程度α的函數：

1)設的初始值是P_vo、P_coo；

2)

則α＝α₀為最優解,return

由此條件，能得到風險預算值的最小值：min(P)＝min{ω₁P_vao+ω₂P_vpo,P_coo}/β₂；

為限制條件3，對于限制條件3：采用之前提過的貪心策略，從重要性較低的標簽元素開始刪除，直到小于規定的預算值。