[發明專利]一種面向預訓練語言模型隱私泄露風險的評估方法及系統

在審

• 申請號: 202210302577.2
• 申請日: 2022-03-24
• 公開（公告）號: CN114676458A
• 公開（公告）日: 2022-06-28
• 發明（設計）人: 紀守領;張曜;杜天宇;陳建海;張旭鴻;鄧水光
• 申請（專利權）人: 浙江大學
• 主分類號: G06F21/62
• 分類號: G06F21/62;G06F40/284;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州中成專利事務所有限公司 33212
• 代理人: 周世駿

本發明涉及隱私安全領域，旨在提供一種面向預訓練語言模型隱私泄露風險的評估方法及系統。包括：在預訓練數據集中加入偽造數據；將預訓練數據集輸入初始化的神經網絡模型，根據設定的預訓練任務和損失函數計算損失；在訓練過程中持續更新模型的參數，增加其隱私的泄露風險；利用微調數據集輸入經過預訓練的神經網絡模型，對模型的特征提取能力進行微調；向模型輸入隱私前綴內容，輸出作為預測結果的文本信息；計算、統計和排序輸出信息的困惑度，通過對比生成的隱私信息的比例來評估隱私數據泄露的風險。本發明可以有效提高評估隱私數據泄露風險的準確性，暴露預訓練語言模型存在的隱私數據泄露風險，為后續發展相關防御方法提供思路。

技術領域

本發明涉及隱私安全技術領域，尤其涉及一種面向預訓練語言模型隱私泄露風險評估方法及系統。

背景技術

自然語言處理是人工智能領域的一個重要應用及分支，其目的是利用深度學習等技術對自然語言進行智能化處理。近年來GPT-2等基于Transformer結構的預訓練語言模型由于其優越的性能，逐漸成為了自然語言處理任務的主流模型之一。

在大數據時代下，訓練者為了獲得性能優越的預訓練語言模型，往往會通過多種方式獲取大量數據用來訓練，比如爬取社交網絡上的身份信息或者利用用戶終端上傳的私密信息，這些數據中可能包含用戶的手機號或家庭住址等敏感信息。在這些數據集上訓練的模型如果存在隱私泄漏風險，便會使大量用戶的隱私信息泄露，進而導致用戶面臨電信詐騙等威脅人身財產安全的風險。

目前，已有相關研究表明基于Transformer的預訓練語言模型存在相關的安全隱私問題。例如，以GPT-2為代表的語言模型能夠根據特定的前綴文本自動生成后續文本，在性能得到加強的同時，語言模型能夠準確記住并生成訓練集中的文本，甚至是其中的隱私信息。這種無意識記憶能力使得GPT-2等大規模預訓練語言模型正面臨嚴重的隱私威脅，攻擊者在僅擁有模型黑盒訪問權限的情況下就可以竊取模型訓練集中的隱私數據。

然而，現有研究工作成果主要分析大規模預訓練語言模型在推理階段的隱私泄露風險，對于模型在預訓練階段可能存在的隱私泄露風險工作研究較少。這方面工作的缺失使得預訓練語言模型隱私泄露風險的分析存在漏洞，導致深度學習模型面臨的隱私威脅加大。

因此，亟需一種合理可靠的、面向預訓練語言模型隱私數據泄露風險評估方案，針對具有強大記憶力的大規模語言模型隱私數據泄露風險進行及時準確地評估，并為設計相關防御加固方法提供思路。

發明內容

本發明要解決的技術問題是，克服現有技術中的不足，提供一種面向預訓練語言模型隱私泄露風險的評估方法及系統。

為解決技術問題，本發明的解決方案是：

提供一種面向預訓練語言模型隱私泄露風險的評估方法，包括以下步驟：

(1)偽造數據

根據要評估的隱私泄露風險的具體類型設定數據信息偽造規則，生成含隱私信息的偽造數據；

(2)模型預訓練

建立訓練神經網絡模型所需的無標簽語料庫，將其分為預訓練數據集和微調數據集兩部分，并在預訓練數據集中加入偽造數據；將預訓練數據集輸入初始化的神經網絡模型，根據設定的預訓練任務和損失函數計算損失；在訓練過程中持續更新模型的參數，增加其隱私的泄露風險；

(3)模型微調

將微調數據集輸入經過預訓練的神經網絡模型，在訓練過程中持續更新模型的參數，對模型的特征提取能力進行微調；

(4)評估隱私泄露風險

將隱私前綴內容輸入經過微調的神經網絡模型，模型輸出作為預測結果的文本信息，計算該輸出信息的困惑度；統計各文本信息的困惑度并按序排列，困惑度越低代表文本信息的真實性就越高，通過對比生成的隱私信息的比例來評估隱私數據泄露的風險。