[發明專利]融合知識圖譜的模型預訓練方法、系統、設備及存儲介質

在審

• 申請號: 202210343488.2
• 申請日: 2022-04-02
• 公開（公告）號: CN114676270A
• 公開（公告）日: 2022-06-28
• 發明（設計）人: 徐芳;曲笑辰;蔡超;武學敏;楊萬征;王雪
• 申請（專利權）人: 中譯語通科技股份有限公司
• 主分類號: G06F16/36
• 分類號: G06F16/36;G06F16/35;G06F40/205;G06F40/279
• 代理公司: 北京興智翔達知識產權代理有限公司 11768
• 代理人: 郭衛芹

1.一種融合知識圖譜的模型預訓練方法，其特征在于，包括

獲取針對需要實體識別的各種實體之間的知識圖譜；

對所述知識圖譜進行子圖提取，得到提取到的子圖；

對提取到的子圖進行向量化，得到向量化后的子圖；

分別根據訓練集中的任意兩個實體之間生成文本向量，將文本向量和向量化后的子圖導入并構建實體關系抽取預訓練模型，對所述實體關系抽取預訓練模型進行訓練，得到訓練好的實體關系抽取預訓練模型；

將待驗證兩個實體之間對實體關系輸入訓練好的實體關系抽取預訓練模型，預測出該兩個實體之間的關系。

2.根據權利要求1所述的融合知識圖譜的模型預訓練方法，其特征在于，所述對所述知識圖譜進行子圖提取，得到提取到的子圖，包括：

在所述知識圖譜中以節點作為中心，其一跳范圍內的鄰接節點和本身節點構成一個子圖，一跳指的是鄰接節點和當前節點通過一條邊連接。

3.根據權利要求2所述的融合知識圖譜的模型預訓練方法，其特征在于，所述對提取到的子圖進行向量化，得到向量化后的子圖，包括：

對圖結構進行向量化、對節點進行向量化和對邊進行向量化，得到向量化后的子圖，其中，圖結構的向量化采用GCN進行建模，而節點的向量和邊的向量化采用預訓練語言模型，對于未知的詞和邊采用隨機初始化的形式，通過對邊的向量進行歸一化的形式得到邊的權重。

4.根據權利要求1所述的融合知識圖譜的模型預訓練方法，其特征在于，所述對所述實體關系抽取預訓練模型進行訓練，得到訓練好的實體關系抽取預訓練模型，包括：

通過以一定比例隨機掩碼掉節點或者邊的信息，在訓練過程中節點向量和邊向量都會根據反向傳播進行動態調整，最終會得到動態的邊向量、節點向量以及子圖的圖結構向量，得到訓練好的實體關系抽取預訓練模型。

5.根據權利要求1所述的融合知識圖譜的模型預訓練方法，其特征在于，所述對所述實體關系抽取預訓練模型進行訓練，得到訓練好的實體關系抽取預訓練模型，包括：

通過預測當前子圖邊緣邊的連通子圖的方式，在訓練過程中節點向量和邊向量都會根據反向傳播進行動態調整，最終會得到動態的邊向量、節點向量以及子圖的圖結構向量，得到訓練好的實體關系抽取預訓練模型。

6.一種融合知識圖譜的模型預訓練系統，其特征在于，包括

圖譜模塊，用于獲取針對需要實體識別的各種實體之間的知識圖譜；

子圖模塊，用于對所述知識圖譜進行子圖提取，得到提取到的子圖；

向量化模塊，用于對提取到的子圖進行向量化，得到向量化后的子圖；

訓練模塊，用于分別根據訓練集中的任意兩個實體之間生成文本向量，將文本向量和向量化后的子圖導入并構建實體關系抽取預訓練模型，對所述實體關系抽取預訓練模型進行訓練，得到訓練好的實體關系抽取預訓練模型；

預測模塊，用于將待驗證兩個實體之間對實體關系輸入訓練好的實體關系抽取預訓練模型，預測出該兩個實體之間的關系。

7.一種電子設備，其特征在于，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，處理器執行程序時實現如權利要求1至7任一所述的融合知識圖譜的模型預訓練方法。

8.一種非暫態計算機可讀存儲介質，其特征在于，其上存儲有計算機程序，該計算機程序被處理器執行時實現如權利要求1至7任一所述的融合知識圖譜的模型預訓練方法。