[發明專利]一種網絡表示學習模型的訓練方法及服務器

有效

• 申請號: 201710288128.6
• 申請日: 2017-04-27
• 公開（公告）號: CN108805291B
• 公開（公告）日: 2020-09-29
• 發明（設計）人: 孫茂松;涂存超;劉知遠
• 申請（專利權）人: 清華大學
• 主分類號: G06N20/00
• 分類號: G06N20/00
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王慶龍

1.一種網絡表示學習模型的訓練方法，其特征在于，包括：

獲取網絡節點的文本信息和所述網絡節點之間的關聯信息；

為每個網絡節點初始化一個結構向量；

根據所述網絡節點的文本信息，獲取每對相鄰網絡節點的文本向量，其中，所述每對相鄰網絡節點是根據所述網絡節點之間的關聯信息所獲取的；

根據所述結構向量和所述文本向量構成網絡節點表示向量；

將所述網絡節點表示向量代入網絡表示學習模型中，并對代入網絡節點表示向量后的網絡表示學習模型進行訓練；所述根據所述網絡節點的文本信息，獲取每對相鄰網絡節點的文本向量，包括：

分別將每對相鄰網絡節點中的兩個網絡節點x和y進行卷積運算，以獲取卷積計算的結果c_x和c_y；

根據公式F＝tanh(c_xac_y)計算c_x和c_y的關聯矩陣，其中，F為關聯矩陣、a為預設關聯規則矩陣；

分別對所述關聯矩陣進行行池化和列池化，并分別獲取所述相鄰網絡節點中的兩個網絡節點的權重a_x和a_y；

將v_tx＝c_xa_x的計算結果作為網絡節點x對網絡節點y的文本向量表示，相應的，將v_ty＝c_ya_y的計算結果作為網絡節點y對網絡節點x的文本向量表示。

2.根據權利要求1所述的方法，其特征在于，所述并分別獲取所述相鄰網絡節點中的兩個網絡節點的權重a_x和a_y，包括：

根據公式a_x＝mean(F_i,1,...,F_i,n)獲取網絡節點x的權重a_x，其中F_i,1,...,F_i,n表示關聯矩陣F的行向量、mean表示取關聯矩陣F的行向量平均值；

根據公式a_y＝mean(F_1,j,...,F_m,j)獲取網絡節點y的權重a_y，其中F_1,j,...,F_m,j表示關聯矩陣F的列向量、mean表示取關聯矩陣F的列向量平均值。

3.根據權利要求1或2所述的方法，其特征在于，所述網絡表示學習模型為：

其中，σ為sigmoid函數、v_x為網絡節點x對網絡節點y的網絡節點表示向量、v_y為網絡節點y對網絡節點x的節點表示向量、v_z表示與網絡節點x不相連的網絡節點所對應的向量、k為隨機采樣的網絡節點z的數量、E_p(z)表示節點z服從的分布函數為p(z)的數學期望值。

4.根據權利要求3所述的方法，其特征在于，所述分布函數為p(z)＝d_z^3/4，其中，d_z表示網絡節點z的出度。