[發明專利]實體識別模型訓練方法、裝置、計算機設備及存儲介質

有效

• 申請號: 202110611212.3
• 申請日: 2021-06-01
• 公開（公告）號: CN113239697B
• 公開（公告）日: 2023-03-24
• 發明（設計）人: 于鳳英;王健宗
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F40/295
• 分類號: G06F40/295;G06F40/247
• 代理公司: 深圳眾鼎專利商標代理事務所(普通合伙) 44325
• 代理人: 黃章輝

1.一種實體識別模型訓練方法，其特征在于，包括：

獲取訓練樣本，所述訓練樣本包括訓練標準實體和與每一所述訓練標準實體相對應的多個訓練同義實體；

采用詞頻算法，對所述訓練標準實體和每一所述訓練同義實體進行向量相似度計算，獲取每一所述訓練同義實體與所述訓練標準實體的稀疏相似度；

采用語義識別模型，對所述訓練標準實體和每一所述訓練同義實體進行向量相似度計算，得到每一所述訓練同義實體對應的密集相似度；

根據所述稀疏相似度和所述密集相似度，從所述訓練同義實體中篩選得到目標同義實體；

采用批量梯度下降法對所述目標同義實體進行處理，獲取多個分批訓練集；

依次采用所述分批訓練集，對biobert模型進行分批訓練，優化所述biobert模型中的損失函數，獲取實體識別模型；

所述根據所述稀疏相似度和密集相似度，從所述訓練同義實體中篩選得到目標同義實體，包括：

獲取目標參數，所述目標參數包括獲取數量參數和比例參數；

將密集相似度最高的前a個訓練同義實體放入第一候選實體集，其中，a為所述數量參數和比例參數的積；

將稀疏相似度最高的前b個訓練同義實體放入第二候選實體集，其中，b為所述數量參數減去a的差；

根據第一候選實體集和第二候選實體集獲取與所述數量參數對應的目標同義實體，具體包括：

判斷第一候選實體集和第二候選實體集中是否存在相同的訓練同義實體；若第一候選實體集和第二候選實體集中存在相同的訓練同義實體，則將相同的訓練同義實體從第一候選實體集中刪除，得到第三候選實體集；統計第一候選實體集和第二候選實體集中相同的訓練同義實體對應的實體數量；根據密集相似度從除第一候選實體集和第二候選實體集外的訓練同義實體中，獲取與實體數量相應的候選同義實體，根據候選同義實體、第二候選實體集和第三候選實體集獲取目標同義實體。

2.如權利要求1所述的實體識別模型訓練方法，其特征在于，所述采用詞頻算法，對所述訓練標準實體和每一所述訓練同義實體進行向量相似度計算，獲取每一所述訓練同義實體與所述訓練標準實體的稀疏相似度，包括：

采用詞頻算法分別對訓練標準實體和每一所述訓練同義實體進行向量轉化處理，獲取所述訓練標準實體的標準稀疏向量，以及每一所述訓練同義實體的同義稀疏向量；

將每一所述同義稀疏向量分別與所述標準稀疏向量進行內積處理，獲取每一所述同義稀疏向量與所述標準稀疏向量的稀疏相似度。

3.如權利要求1所述的實體識別模型訓練方法，其特征在于，所述采用詞頻算法分別對訓練標準實體和每一所述訓練同義實體進行向量轉化處理，獲取所述訓練標準實體的標準稀疏向量，以及每一所述訓練同義實體的同義稀疏向量，包括：

對所述訓練標準實體和每一所述訓練同義實體均進行分割處理，分別得到所述訓練標準實體對應的多元分割字符和所有所述訓練同義實體對應的多元分割字符；

采用TF-IDF算法對所述訓練標準實體對應的多元分割字符進行處理，獲取訓練標準實體對應的標準稀疏向量；采用TF-IDF算法對每一所述訓練同義實體對應的多元分割字符進行處理，獲取每一所述訓練同義實體的同義稀疏向量。

4.如權利要求3所述的實體識別模型訓練方法，其特征在于，所述采用TF-IDF算法對所述訓練標準實體對應的多元分割字符進行處理，獲取訓練標準實體對應的標準稀疏向量；采用TF-IDF算法對每一所述訓練同義實體對應的多元分割字符進行處理，獲取每一所述訓練同義實體的同義稀疏向量，包括：

采用TF-IDF算法對所述訓練標準實體對應的多元分割字符進行處理，獲取所述訓練標準實體中包含的多元分割字符對應的詞頻和逆文檔頻率；采用TF-IDF算法對每一所述訓練同義實體對應的多元分割字符進行處理，獲取所述同義實體中包含的多元分割字符對應的詞頻和逆文檔頻率；

基于所述訓練標準實體中包含的多元分割字符對應的詞頻和逆文檔頻率，獲取訓練標準實體對應的標準稀疏向量；

基于所述訓練同義實體中包含的多元分割字符對應的詞頻和逆文檔頻率，獲取訓練同義實體對應的同義稀疏向量。