[發(fā)明專利]使用生成性模型生成差分隱私數(shù)據(jù)集

在審

• 申請?zhí)枺?/td>: 202111179400.X
• 申請日: 2021-10-08
• 公開（公告）號: CN114386470A
• 公開（公告）日: 2022-04-22
• 發(fā)明（設(shè)計）人: A·瓦達特;曹天時;A·比耶;K·J·克賴斯;S·菲德勒
• 申請（專利權(quán)）人: 輝達公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06F21/62;G06N3/04;G06N3/06;G06N3/08;G06V10/774;G06V10/82
• 代理公司: 北京市磐華律師事務(wù)所 11336
• 代理人: 高偉

1.一種方法，包括：

使用機器學(xué)習(xí)模型生成第一數(shù)據(jù)集；

計算要應(yīng)用于所述第一數(shù)據(jù)集的一組變化，以使得所述第一數(shù)據(jù)集的一組特征更緊密地匹配第二數(shù)據(jù)集的相應(yīng)一組特征；

至少部分地基于噪聲信息修改所述一組變化以生成一組修改后的變化，所述噪聲信息對應(yīng)于應(yīng)用于所述機器學(xué)習(xí)模型的一個或更多個約束；以及

使用所述修改后的一組變化來更新所述機器學(xué)習(xí)模型。

2.如權(quán)利要求1所述的方法，其中通過至少部分地基于所述第一數(shù)據(jù)集和所述第二數(shù)據(jù)集計算Sinkhorn損失來計算所述一組變化。

3.如權(quán)利要求2所述的方法，其中計算所述一組變化還包括：至少部分地基于所述Sinkhorn損失和對應(yīng)于所述第一數(shù)據(jù)集和所述第二數(shù)據(jù)集的成本矩陣來計算應(yīng)用于所述第一數(shù)據(jù)集中的數(shù)據(jù)的梯度。

4.如權(quán)利要求1所述的方法，其中修改所述一組變化還包括：裁剪所述梯度以減小所述梯度的矢量幅度。

5.如權(quán)利要求1所述的方法，其中使用所述修改后的一組變化來更新所述機器學(xué)習(xí)模型還包括：將函數(shù)應(yīng)用于所述梯度。

6.如權(quán)利要求1所述的方法，其中所述噪聲信息還包括高斯噪聲。

7.如權(quán)利要求1所述的方法，其中使用所述機器學(xué)習(xí)模型來生成所述第一數(shù)據(jù)集還包括：選擇所述第一數(shù)據(jù)集的類別。

8.如權(quán)利要求1所述的方法，其中所述第二數(shù)據(jù)集還包括隱私數(shù)據(jù)集的采樣。

9.如權(quán)利要求8所述的方法，其中所述隱私數(shù)據(jù)集由數(shù)據(jù)管理者維護并由隱私屏障保護。

10.如權(quán)利要求8所述的方法，其中所述方法還包括：

使所述機器學(xué)習(xí)模型生成模擬所述隱私數(shù)據(jù)集的訓(xùn)練數(shù)據(jù)；以及

提供所述訓(xùn)練數(shù)據(jù)來訓(xùn)練一個或更多個生成性對抗網(wǎng)絡(luò)。

11.如權(quán)利要求1所述的方法，其中使用所述修改后的一組變化來更新所述機器學(xué)習(xí)模型還包括：修改所述機器學(xué)習(xí)模型的一組參數(shù)。

12.如權(quán)利要求11所述的方法，其中所述一個或更多個約束包括隱私約束，并且其中修改所述機器學(xué)習(xí)模型的所述一組參數(shù)還包括：以至少部分地基于所述隱私約束確定的值來修改梯度。

13.如權(quán)利要求1所述的方法，其中所述第一數(shù)據(jù)集還包括多個圖像。

14.如權(quán)利要求1所述的方法，其中所述第一數(shù)據(jù)集還包括對應(yīng)于所述第一數(shù)據(jù)集的一個或更多個類別標簽。

15.如權(quán)利要求1所述的方法，其中至少通過至少部分地基于所述第一數(shù)據(jù)集和所述第二數(shù)據(jù)集計算半去偏Sinkhorn損失來計算所述一組變化。

16.一種處理器，包括用于生成機器學(xué)習(xí)模型的一個或更多個電路，所述機器學(xué)習(xí)模型至少部分地通過以下步驟訓(xùn)練：

至少部分地基于噪聲信息和第一組變化來確定對所述機器學(xué)習(xí)模型進行的第二組變化，所述第一組變化應(yīng)用于由所述機器學(xué)習(xí)模型生成的第一數(shù)據(jù)集以使所述第一數(shù)據(jù)集更緊密地匹配第二數(shù)據(jù)集；以及

至少部分地基于所述第二組變化更新所述機器學(xué)習(xí)模型，其中所述第二數(shù)據(jù)集包括從隱私數(shù)據(jù)集采樣的數(shù)據(jù)。

17.如權(quán)利要求16所述的處理器，其中所述第一組變化還包括至少部分地基于所述第一數(shù)據(jù)集和所述第二數(shù)據(jù)的樣本來計算原始形式最佳傳輸計劃。

18.如權(quán)利要求17所述的處理器，其中計算所述原始形式最佳傳輸計劃還包括計算Sinkhorn損失。