[發明專利]實體嵌入數據的提取方法和裝置、電子設備、存儲介質

在審

• 申請號: 202111139516.0
• 申請日: 2021-09-26
• 公開（公告）號: CN113849661A
• 公開（公告）日: 2021-12-28
• 發明（設計）人: 司世景;王健宗
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F16/36
• 分類號: G06F16/36;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 廖慧賢

1.一種實體嵌入數據的提取方法，其特征在于，包括：

根據知識圖譜的實體提取至少兩個三元組；其中每一三元組包括實體、屬性和屬性值；

將至少兩個三元組的屬性值進行拼接，得到文本數據；

將所述文本數據映射至嵌入空間，得到初始嵌入數據；其中，每一屬性值對應所述初始嵌入數據的維度；

對所述初始嵌入數據進行數據增強處理，得到正例對；

將所述正例對輸入到預設的對比學習模型中進行對比學習，得到目標嵌入數據。

2.根據權利要求1所述的方法，其特征在于，所述對所述初始嵌入數據進行數據增強處理，得到正例對，包括：

根據所述初始嵌入數據得到第一樣本數據和第二樣本數據；其中，所述初始嵌入數據、所述第一樣本數據和所述第二樣本數據相同；

將所述第一樣本數據輸入至dropout編碼器進行數據增強處理，得到第一向量；

將所述第二樣本數據輸入至dropout編碼器進行數據增強處理，得到第二向量；其中，所述第一向量與所述第二向量不同；

根據所述第一向量與所述第二向量形成所述正例對。

3.根據權利要求1或2所述的方法，其特征在于，所述將所述正例對輸入到預設的對比學習模型中進行訓練，得到目標嵌入數據，包括：

將所述正例對輸入到所述對比學習模型；

通過所述對比學習模型的損失函數計算出所述正例對的第一相似度和負例對的第二相似度；

根據所述第一相似度和所述第二相似度對所述對比學習模型的損失函數進行優化，以更新所述對比學習模型；

通過更新后的對比學習模型輸出所述目標嵌入數據。

4.根據權利要求3所述的方法，其特征在于，所述第一相似度和所述第二相似度均為余弦相似度，所述根據所述第一相似度和所述第二相似度對所述對比學習模型的損失函數進行優化，包括：

將所述第一相似度最大化為第一數值和將所述第二相似度最小化為第二數值，以對所述損失函數進行優化；其中，所述第一相似度為所述損失函數的分子，所述第一相似度和所述第二相似度為所述損失函數的分母，所述第一數值取值為1，所述第二數值取值為0。

5.根據權利要求3所述的方法，其特征在于，所述根據所述第一相似度和所述第二相似度對所述對比學習模型的損失函數進行優化，還包括：

根據所述損失函數進行反向傳播，更新所述損失函數的損失參數，以對所述損失函數進行優化。

6.根據權利要求1或2所述的方法，其特征在于，所述方法還包括：構建所述對比學習模型，具體包括：

獲取原始預訓練模型；其中，所述預訓練模型為BERT模型；

對所述預訓練模型進行參數微調，以更新所述預訓練模型，得到所述對比學習模型。

7.根據權利要求6所述的方法，其特征在于，所述預訓練模型包括損失函數，所述對所述預訓練模型進行參數微調，更新所述預訓練模型，得到所述對比學習模型，包括：

根據所述正例對和負例對構建損失函數；

根據樣本數據集對所述損失函數進行計算，對所述損失函數的損失參數進行微調；

將微調后的損失函數作為所述預訓練模型的模型參數，以更新所述預訓練模型，得到所述對比學習模型。

8.一種實體嵌入數據的提取裝置，其特征在于，包括：

三元組提取模塊，用于根據知識圖譜的實體提取至少兩個三元組；其中每一三元組包括實體、屬性和屬性值；

文本拼接模塊，用于將至少兩個三元組的屬性值進行拼接，得到文本數據；

文本嵌入模塊，用于將所述文本數據映射至嵌入空間，得到初始嵌入數據；其中，每一屬性值對應所述初始嵌入數據的維度；

數據增強模塊，用于對所述初始嵌入數據進行數據增強處理，得到正例對；

對比學習模塊，用于將所述正例對輸入到預設的對比學習模型中進行訓練，得到目標嵌入數據。