[發(fā)明專(zhuān)利]實(shí)體識(shí)別模型訓(xùn)練方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110611212.3
• 申請(qǐng)日: 2021-06-01
• 公開(kāi)（公告）號(hào): CN113239697B
• 公開(kāi)（公告）日: 2023-03-24
• 發(fā)明（設(shè)計(jì)）人: 于鳳英;王健宗
• 申請(qǐng)（專(zhuān)利權(quán)）人: 平安科技（深圳）有限公司
• 主分類(lèi)號(hào): G06F40/295
• 分類(lèi)號(hào): G06F40/295;G06F40/247
• 代理公司: 深圳眾鼎專(zhuān)利商標(biāo)代理事務(wù)所(普通合伙) 44325
• 代理人: 黃章輝

本發(fā)明公開(kāi)一種實(shí)體識(shí)別模型訓(xùn)練方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)，該實(shí)體識(shí)別模型訓(xùn)練方法采用詞頻算法，對(duì)訓(xùn)練標(biāo)準(zhǔn)實(shí)體和每一訓(xùn)練同義實(shí)體進(jìn)行向量相似度計(jì)算，獲取每一訓(xùn)練同義實(shí)體與訓(xùn)練標(biāo)準(zhǔn)實(shí)體的稀疏相似度；采用語(yǔ)義識(shí)別模型，對(duì)訓(xùn)練標(biāo)準(zhǔn)實(shí)體和每一訓(xùn)練同義實(shí)體進(jìn)行向量相似度計(jì)算，得到每一訓(xùn)練同義實(shí)體對(duì)應(yīng)的密集相似度；根據(jù)稀疏相似度和密集相似度，從訓(xùn)練同義實(shí)體中篩選得到目標(biāo)同義實(shí)體；采用批量梯度下降法對(duì)目標(biāo)同義實(shí)體進(jìn)行處理，獲取多個(gè)分批訓(xùn)練集；依次采用分批訓(xùn)練集，對(duì)biobert模型進(jìn)行分批訓(xùn)練，優(yōu)化biobert模型中的損失函數(shù)，獲取實(shí)體識(shí)別模型，以提高實(shí)體識(shí)別模型的性能。

技術(shù)領(lǐng)域

本發(fā)明涉及人工智能技術(shù)領(lǐng)域，尤其涉及一種實(shí)體識(shí)別模型訓(xùn)練方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著各種文化知識(shí)的不斷發(fā)展，實(shí)體詞匯擁有越來(lái)越多的同義詞或者縮寫(xiě)等，由此，給用戶(hù)閱讀或者理解帶來(lái)較大的難度，現(xiàn)有的技術(shù)方案大多采用模型進(jìn)行識(shí)別，但是現(xiàn)有模型準(zhǔn)確率較低。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供一種實(shí)體識(shí)別模型訓(xùn)練方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)，以解決現(xiàn)有模型準(zhǔn)確率較低的問(wèn)題。

一種實(shí)體識(shí)別模型訓(xùn)練方法，包括：

獲取訓(xùn)練樣本，所述訓(xùn)練樣本包括訓(xùn)練標(biāo)準(zhǔn)實(shí)體和與每一所述訓(xùn)練標(biāo)準(zhǔn)實(shí)體相對(duì)應(yīng)的多個(gè)訓(xùn)練同義實(shí)體；

采用詞頻算法，對(duì)所述訓(xùn)練標(biāo)準(zhǔn)實(shí)體和每一所述訓(xùn)練同義實(shí)體進(jìn)行向量相似度計(jì)算，獲取每一所述訓(xùn)練同義實(shí)體與所述訓(xùn)練標(biāo)準(zhǔn)實(shí)體的稀疏相似度；

采用語(yǔ)義識(shí)別模型，對(duì)所述訓(xùn)練標(biāo)準(zhǔn)實(shí)體和每一所述訓(xùn)練同義實(shí)體進(jìn)行向量相似度計(jì)算，得到每一所述訓(xùn)練同義實(shí)體對(duì)應(yīng)的密集相似度；

根據(jù)所述稀疏相似度和密集相似度，從所述訓(xùn)練同義實(shí)體中篩選得到目標(biāo)同義實(shí)體；

采用批量梯度下降法對(duì)所述目標(biāo)同義實(shí)體進(jìn)行處理，獲取多個(gè)分批訓(xùn)練集；

依次采用所述分批訓(xùn)練集，對(duì)biobert模型進(jìn)行分批訓(xùn)練，優(yōu)化所述biobert模型中的損失函數(shù)，獲取實(shí)體識(shí)別模型。

一種實(shí)體識(shí)別模型訓(xùn)練裝置，包括：

訓(xùn)練樣本獲取模塊，用于獲取訓(xùn)練樣本，所述訓(xùn)練樣本包括訓(xùn)練標(biāo)準(zhǔn)實(shí)體和與每一所述訓(xùn)練標(biāo)準(zhǔn)實(shí)體相對(duì)應(yīng)的多個(gè)訓(xùn)練同義實(shí)體；

稀疏相似度獲取模塊，用于采用詞頻算法，對(duì)所述訓(xùn)練標(biāo)準(zhǔn)實(shí)體和每一所述訓(xùn)練同義實(shí)體進(jìn)行向量相似度計(jì)算，獲取每一所述訓(xùn)練同義實(shí)體與所述訓(xùn)練標(biāo)準(zhǔn)實(shí)體的稀疏相似度；

密集相似度獲取模塊，用于采用語(yǔ)義識(shí)別模型，對(duì)所述訓(xùn)練標(biāo)準(zhǔn)實(shí)體和每一所述訓(xùn)練同義實(shí)體進(jìn)行向量相似度計(jì)算，得到每一所述訓(xùn)練同義實(shí)體對(duì)應(yīng)的密集相似度；

目標(biāo)同義實(shí)體獲取模塊，用于根據(jù)所述稀疏相似度和密集相似度，從所述訓(xùn)練同義實(shí)體中篩選得到目標(biāo)同義實(shí)體；

分批訓(xùn)練集獲取模塊，用于采用批量梯度下降法對(duì)所述目標(biāo)同義實(shí)體進(jìn)行處理，獲取多個(gè)分批訓(xùn)練集；

實(shí)體識(shí)別模型獲取模塊，用于依次采用所述分批訓(xùn)練集，對(duì)biobert模型進(jìn)行分批訓(xùn)練，優(yōu)化所述biobert模型中的損失函數(shù)，獲取實(shí)體識(shí)別模型。

一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器、處理器以及存儲(chǔ)在所述存儲(chǔ)器中并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)上述實(shí)體識(shí)別模型訓(xùn)練方法的步驟。

一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述實(shí)體識(shí)別模型訓(xùn)練方法的步驟。