[發明專利]基于隱私保護訓練圖神經網絡的方法及裝置

有效

• 申請號: 202110109491.3
• 申請日: 2021-01-27
• 公開（公告）號: CN112464292B
• 公開（公告）日: 2021-08-20
• 發明（設計）人: 熊濤
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06F21/62
• 分類號: G06F21/62;G06N3/08;G06N3/04
• 代理公司: 北京億騰知識產權代理事務所(普通合伙) 11309
• 代理人: 陳霽;周良玉

本說明書實施例提供一種基于隱私保護訓練圖神經網絡的方法和裝置，該方法包括，首先獲取原始關系網絡圖，圖中任意的第一節點具有對應的鄰居節點集。對于該鄰居節點集中任意的第二節點，將該第二節點的節點信息，第一節點的節點信息，第二節點與第一節點的連接信息輸入多層神經網絡，得到該第二節點與第一節點的匹配度。然后，根據鄰居節點集中各個鄰居節點分別對應的匹配度，對該鄰居節點集進行采樣，得到第一節點的采樣鄰居節點集。接著，基于原圖中各個節點各自對應的采樣鄰居節點集，形成稀疏關系網絡圖。于是，基于該稀疏關系網絡圖，訓練圖神經網絡。

技術領域

本說明書一個或多個實施例涉及計算機技術領域，尤其涉及基于隱私保護訓練圖神經網絡的方法及裝置。

背景技術

關系網絡圖近來正逐漸變成機器學習的一大核心領域。基于關系網絡圖的數據挖掘和機器學習在眾多領域發揮了越來越大的價值。例如，可以通過預測潛在的連接來理解社交網絡的結構、可以基于圖結構進行欺詐檢測、理解電商用戶的消費者行為或進行實時推薦等等。

與此同時，人們對隱私的重視也與日俱增。關系網絡圖中蘊藏著大量的信息，使用圖信息的各種人工智能和機器學習（AI/ML）模型如果保護不當，存在著泄漏數據隱私的巨大風險。比如，隨著IOT時代的到來，很多的AI/ML在云端利用大規模的圖數據開發后部署到端上（手機/其它IOT設備）去做實時決策。這樣的好處不言而喻，由于減少了從端上到云端的數據傳輸，保護了用戶的隱私，也減少了數據傳輸的成本。然而，如果模型被竊取，用于訓練模型的大規模的圖數據信息也有被泄漏的風險。

因此，希望能有改進的方案，能夠更為安全、更為有效的訓練出可靠的圖神經網絡模型。

發明內容

本說明書一個或多個實施例描述了一種基于隱私保護訓練圖神經網絡的方法和裝置，使得訓練出的圖神經網絡能夠更好地保護圖數據信息的隱私安全。

根據第一方面，提供了一種基于隱私保護訓練圖神經網絡的方法，包括：

獲取原始關系網絡圖，其中包括多個節點，所述多個節點中任意的第一節點，具有對應的第一鄰居節點集；

對于所述第一鄰居節點集中任意的第二節點，將該第二節點的節點信息，所述第一節點的節點信息，該第二節點與所述第一節點的連接信息輸入多層神經網絡，得到該第二節點與所述第一節點的匹配度；

根據所述第一鄰居節點集中各個鄰居節點分別對應的匹配度，對所述第一鄰居節點集進行采樣，得到第一節點的采樣鄰居節點集；

基于所述多個節點各自對應的采樣鄰居節點集，形成稀疏關系網絡圖；

基于所述稀疏關系網絡圖，訓練圖神經網絡。

在一個實施例中，根據匹配度對第一鄰居節點集進行采樣，具體包括：將所述各個鄰居節點分別對應的匹配度進行歸一化，得到對應的匹配概率；根據所述匹配概率，對所述各個鄰居節點進行采樣。

在另一實施例中，根據匹配度對第一鄰居節點集進行采樣，具體包括：基于差分隱私的指數機制，根據第一隱私預算，以及所述第二節點與所述第一節點的匹配度，確定所述第二節點被采樣的第一采樣概率；根據所述第一鄰居節點集中各個鄰居節點分別對應的第一采樣概率，對所述各個鄰居節點進行采樣。

進一步地，在一個例子中，可以根據第一采樣概率，執行預定數目k次采樣，從所述第一鄰居節點集中采樣出k個鄰居節點，作為所述采樣鄰居節點集。

在又一實施例中，還可以將各個鄰居節點分別對應的第一采樣概率輸入Gumbel-softmax函數，得到各個鄰居節點分別對應的第二采樣概率；根據所述各個鄰居節點分別對應的第二采樣概率，對所述各個鄰居節點進行采樣。

進一步地，在一個例子中，可以根據所述第二采樣概率，執行預定數目k次采樣，從所述第一鄰居節點集中采樣出k個鄰居節點，作為所述采樣鄰居節點集。