[發明專利]混合圖神經網絡模型的訓練、預測方法和裝置

有效

• 申請號: 202110050410.7
• 申請日: 2021-01-14
• 公開（公告）號: CN112381216B
• 公開（公告）日: 2021-04-27
• 發明（設計）人: 李厚意;張國威;曾馨檀;李勇勇;劉永超;黃斌;何昌華
• 申請（專利權）人: 螞蟻智信（杭州）信息技術有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06Q30/02
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 周嗣勇

本說明書提供一種混合圖神經網絡模型的訓練方法，所述混合圖神經網絡模型包括編碼函數和解碼函數，所述方法包括：以訓練樣本中所有目標對應的實例以及所述實例的若干度鄰居作為圖中的點，基于所有實例的圖數據，采用編碼函數生成每個實例的圖表示向量；對解碼參數進行t個輪次的訓練；在每個輪次，從訓練樣本中提取bs個目標，基于每個目標對應的實例的圖表示向量、對應的非圖數據，采用解碼函數生成每個目標的預測量，并根據由本輪次bs個目標的預測量與標簽量確定的本輪次的損失量優化解碼參數；根據所述t個輪次的損失量優化編碼參數；重復上述所有步驟直至滿足預定訓練終止條件。

技術領域

本說明書涉及數據處理技術領域，尤其涉及一種混合圖神經網絡的訓練方法和裝置、和一種混合圖神經網絡的預測方法和裝置。

背景技術

圖具有強大的表達能力，能夠用來作為數據結構，對在各個領域運行的社會網絡進行建模。圖通常用來描述某些事物之間的某種特定關系，用點代表事物，用連接兩點的線表示相應兩個事物間具有這種關系。圖神經網絡（GNN，Graph Neural Networks）是在圖域上運行的基于深度學習的算法，具有令人信服的性能和高解釋性，已成為一種廣泛應用的圖形分析方法。

在很多應用場景中，機器學習任務的輸入數據不適合表示為圖域中的信息，例如具有時序關系的一系列數據。混合圖神經網絡模型結合了圖神經網絡算法和其他機器學習算法，能夠在這些應用場景中大大提升預測的效果。

在采用某個點的樣本對混合圖神經網絡模型進行訓練時，或者采用混合圖神經網絡模型對某個點進行預測時，需要計算該點的k（k為自然數）度鄰居。通常的方式是每次提取各個點的k度鄰居并對其進行計算，由于各個點的k度鄰居常常包含相同的點，這會導致大量冗余的重復運算，使得訓練或預測的效率受到影響。

發明內容

有鑒于此，本說明書提供一種混合圖神經網絡模型的訓練方法，所述混合圖神經網絡模型包括編碼函數和解碼函數，所述編碼函數為帶有編碼參數的圖神經網絡算法及其組合，所述解碼函數為帶有解碼參數的機器學習算法及其組合，所述方法包括：

以訓練樣本中所有目標對應的實例以及所述實例的若干度鄰居作為圖中的點，基于所有實例的圖數據，采用編碼函數生成每個實例的圖表示向量；

對解碼參數進行t個輪次的訓練；在每個輪次，從訓練樣本中提取bs個目標，基于每個目標對應的實例的圖表示向量、對應的非圖數據，采用解碼函數生成每個目標的預測量，并根據由本輪次bs個目標的預測量與標簽量確定的本輪次的損失量優化解碼參數；bs為自然數，t為大于1的自然數；

根據所述t個輪次的損失量優化編碼參數；

重復上述所有步驟直至滿足預定訓練終止條件。

本說明書提供的一種混合圖神經網絡模型的預測方法，所述混合圖神經網絡模型包括編碼函數和解碼函數，所述編碼函數為帶有根據前述混合圖神經網絡模型的訓練方法訓練完畢的編碼參數的圖神經網絡算法，所述解碼函數為帶有根據前述混合圖神經網絡模型的訓練方法訓練完畢的解碼參數的機器學習算法，所述方法包括：

以所有待預測的目標對應的實例以及所述實例的若干度鄰居作為圖中的點，基于所有實例的圖數據，采用編碼函數生成每個實例的圖表示向量；

基于與待預測的目標對應的實例的圖表示向量、對應的非圖數據，采用解碼函數生成所述目標的預測量。