[發明專利]知識圖譜表示學習模型訓練方法、裝置及電子設備

在審

• 申請號: 202010324229.6
• 申請日: 2020-04-22
• 公開（公告）號: CN111680109A
• 公開（公告）日: 2020-09-18
• 發明（設計）人: 楊孝輝
• 申請（專利權）人: 北京三快在線科技有限公司
• 主分類號: G06F16/28
• 分類號: G06F16/28
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 任亞娟

1.一種知識圖譜表示學習模型訓練方法，其特征在于，所述方法包括：

獲取知識圖譜中的三元組訓練數據，所述三元組訓練數據包括頭實體，尾實體，以及頭實體和尾實體之間的關系；

根據所述三元組訓練數據構建四元組訓練數據，所述四元組訓練數據包括所述三元組訓練數據以及所述三元組訓練數據對應的權重，所述三元組訓練數據對應的權重用于表征所述三元組訓練數據的重要程度；

將所述四元組訓練數據輸入到預設模型中，對所述預設模型進行訓練，其中，在訓練所述預設模型的過程中，所述預設模型提取所述頭實體對應的向量，所述尾實體對應的向量，以及所述頭實體和尾實體之間的關系對應的向量；

在所述預設模型的損失函數的損失函數值小于損失函數閾值時，將訓練后的預設模型確定為知識圖譜表示學習模型。

2.根據權利要求1所述的方法，其特征在于，所述根據所述三元組訓練數據構建四元組訓練數據，包括：

統計知識圖譜中的三元組訓練數據中尾實體的數量；

根據尾實體的數量所在的數量區間對尾實體進行分組，得到尾實體分組，其中，尾實體的數量在同一數量區間的尾實體被分為同一尾實體分組；

基于數量區間的區間值大小確定對應的尾實體分組的權重，其中，一個數量區間的區間值越小，該數量區間對應的尾實體分組的權重越大；

對于每一尾實體分組，將所述尾實體分組的權重，確定為所述尾實體分組所包括的各個尾實體的三元組訓練數據對應的權重；

將三元組訓練數據以及三元組訓練數據對應的權重確定為四元組訓練數據。

3.根據權利要求2所述的方法，其特征在于，所述預設模型的損失函數是基于三元組訓練數據的得分函數，三元組訓練數據對應的權重，負三元組訓練數據的得分函數，以及負三元組訓練數據對應的權重所確定的；

其中，所述負三元組訓練數據為將所述三元組訓練數據中的頭實體和/或尾實體進行變換得到的，所述負三元組訓練數據對應的權重為所述負三元組訓練數據的尾實體的數量所在數量區間對應的尾實體分組的權重。

4.根據權利要求3所述的方法，其特征在于，所述預設模型的損失函數為：

其中，h表示頭實體，t表示尾實體，r表示頭實體h和尾實體t的關系，ω表示三元組訓練數據對應的權重；γ為預設邊界值；(h,r,t)表示三元組訓練數據，f(h,r,t)表示三元組訓練數據的得分函數，S-new表示四元組訓練數據集合；ω'表示負三元組訓練數據對應的權重，(h',r,t')表負三元組訓練數據，f(h',r,t')表示負三元組訓練數據的得分函數，S'_new表示負四元組訓練數據集合。

5.根據權利要求4所述的方法，其特征在于，當f(h,r,t)和f(h',r,t')為TransE模型中的能量函數時，所述方法還包括：

在將所述預設模型的損失函數的損失函數值調整為小于所述損失函數閾值的過程中，調整h對應的向量，r對應的向量，以及t對應的向量，使得h對應的向量和r對應的向量之和與t對應的向量之間的差值小于預設向量。

6.一種知識圖譜表示學習模型訓練裝置，其特征在于，所述裝置包括：

三元組訓練數據獲取模塊，用于獲取知識圖譜中的三元組訓練數據，所述三元組訓練數據包括頭實體，尾實體，以及頭實體和尾實體之間的關系；

四元組訓練數據構建模塊，用于根據所述三元組訓練數據構建四元組訓練數據，所述四元組訓練數據包括所述三元組訓練數據以及所述三元組訓練數據對應的權重，所述三元組訓練數據對應的權重用于表征所述三元組訓練數據的重要程度；

預設模型訓練模塊，用于將所述四元組訓練數據輸入到預設模型中，對所述預設模型進行訓練，其中，在訓練所述預設模型的過程中，所述預設模型提取所述頭實體對應的向量，所述尾實體對應的向量，以及所述頭實體和尾實體之間的關系對應的向量；

知識圖譜表示學習模型確定模塊，用于在所述預設模型的損失函數的損失函數值小于損失函數閾值時，將訓練后的預設模型確定為知識圖譜表示學習模型。