[發(fā)明專利]文本關(guān)鍵詞提取方法、模型的訓(xùn)練方法、裝置和電子設(shè)備

在審

• 申請?zhí)枺?/td>: 202310458542.2
• 申請日: 2023-04-24
• 公開（公告）號: CN116384392A
• 公開（公告）日: 2023-07-04
• 發(fā)明（設(shè)計）人: 倪志恒
• 申請（專利權(quán)）人: 浙江大華技術(shù)股份有限公司
• 主分類號: G06F40/289
• 分類號: G06F40/289;G06F40/284;G06F16/35;G06F18/214;G06F18/2415;G06N3/0464;G06N3/08
• 代理公司: 北京同達信恒知識產(chǎn)權(quán)代理有限公司 11291
• 代理人: 孫小明

本申請涉及文字處理技術(shù)領(lǐng)域，提供一種文本關(guān)鍵詞提取方法、模型的訓(xùn)練方法、裝置和電子設(shè)備，獲取待處理文本包含的待處理注釋信息；將待處理注釋信息輸入已訓(xùn)練的關(guān)鍵詞識別模型，得到待處理注釋信息的文本關(guān)鍵詞；生成的文本關(guān)鍵詞用于數(shù)據(jù)元對標，其中，關(guān)鍵詞識別模型是采用訓(xùn)練樣本數(shù)據(jù)對語言提取模型進行訓(xùn)練得到的，訓(xùn)練樣本數(shù)據(jù)包括帶有關(guān)鍵詞標簽的字段注釋文本；關(guān)鍵詞識別模型的目標損失函數(shù)為截斷交叉熵損失函數(shù)。該方法，可以使得模型能夠?qū)⒏嗟木Ψ旁谀Ｐ碗y以區(qū)分的樣本上，讓模型有意識的去分辨模棱兩可的樣本，能有效緩解模型的過擬合，實現(xiàn)對原始字段注釋的關(guān)鍵詞的準確提取，可以提高數(shù)據(jù)元對標的準確率。

技術(shù)領(lǐng)域

本申請實施例涉及文字處理技術(shù)領(lǐng)域，尤其涉及一種文本關(guān)鍵詞提取方法、模型的訓(xùn)練方法、裝置和電子設(shè)備。

背景技術(shù)

在自然語言處理過程中，不論自然語言處理任務(wù)是文本生成、文本分類、機器翻譯或者是其他類型的任務(wù)，如果希冀任務(wù)最終的性能表現(xiàn)比較好，就需要保證數(shù)據(jù)的質(zhì)量。所以，無論是基于什么任務(wù)都需要對數(shù)據(jù)進行相關(guān)的處理，將其處理成為模型更好理解的形式。

在數(shù)據(jù)元對標領(lǐng)域也是如此，數(shù)據(jù)元對標這個任務(wù)本質(zhì)上可以理解成為一個文本匹配問題，將需要進行對標的數(shù)據(jù)與現(xiàn)存庫中的數(shù)據(jù)進行一種相似度計算，召回相似度最高的數(shù)據(jù)元作為其對標數(shù)據(jù)元。在這個文本匹配的任務(wù)當中，重點在于對于字段注釋文本的表示，文本表示的效果越好，其對標的效果也就越好。但是，在數(shù)據(jù)元對標的過程中，會面臨著很多的挑戰(zhàn)，其中亟待解決的就是對于原始字段注釋的處理，在注釋當中，一般都會包含了對于這一個字段的解釋和說明，方便其他人更好的理解其意義，數(shù)據(jù)元對標也需要利用它的表示來進行文本匹配。

相關(guān)技術(shù)中，通常是將原始字段注釋的信息都作為模型的輸入進行數(shù)據(jù)元對標，容易造成數(shù)據(jù)元對標的準確性低下。因此，如何提供一種方法提高數(shù)據(jù)元對標的準確率，具有重要的現(xiàn)實意義。

發(fā)明內(nèi)容

本申請實施例提供了一種文本關(guān)鍵詞提取方法、模型的訓(xùn)練方法、裝置和電子設(shè)備，實現(xiàn)原始字段注釋的關(guān)鍵詞提取，可以提高數(shù)據(jù)元對標的準確率。

為達到上述目的，本申請實施例的技術(shù)方案是這樣實現(xiàn)的：

第一方面，本申請實施例提供文本關(guān)鍵詞提取方法，所述文本關(guān)鍵詞用于數(shù)據(jù)元對標；所述方法包括：

獲取待處理文本包含的待處理注釋信息；

將所述待處理注釋信息輸入已訓(xùn)練的關(guān)鍵詞識別模型，得到所述待處理注釋信息的所述文本關(guān)鍵詞；

所述關(guān)鍵詞識別模型是采用訓(xùn)練樣本數(shù)據(jù)對語言提取模型進行訓(xùn)練得到的，所述訓(xùn)練樣本數(shù)據(jù)包括帶有關(guān)鍵詞標簽的字段注釋文本，所述語言提取模型用于獲取輸入注釋信息的關(guān)鍵詞，且語言提取模型的目標損失函數(shù)收斂至預(yù)設(shè)的目標條件時獲得已訓(xùn)練的關(guān)鍵詞識別模型；所述目標損失函數(shù)為截斷交叉熵損失函數(shù)；所述截斷交叉熵損失函數(shù)為使第一類樣本對應(yīng)的損失值收斂，且使第二類樣本對應(yīng)的損失值不收斂的交叉熵損失函數(shù)；所述第一類樣本的預(yù)測概率落入第一控制值和第二控制值之間的概率控制區(qū)域；所述第二類樣本的預(yù)測概率未落入所述概率控制區(qū)域。

本申請實施例提供的文本關(guān)鍵詞提取方法，獲取待處理文本包含的待處理注釋信息；將所述待處理注釋信息輸入已訓(xùn)練的關(guān)鍵詞識別模型，得到所述待處理注釋信息的所述文本關(guān)鍵詞，生成的文本關(guān)鍵詞用于數(shù)據(jù)元對標，其中，關(guān)鍵詞識別模型的目標損失函數(shù)為截斷交叉熵損失函數(shù)。該方法，可以使得模型能夠?qū)⒏嗟木Ψ旁谀Ｐ碗y以區(qū)分的樣本上，讓模型有意識的去分辨模棱兩可的樣本，能有效緩解模型的過擬合，實現(xiàn)對原始字段注釋的關(guān)鍵詞的準確提取，可以提高數(shù)據(jù)元對標的準確率。

在一種可選的實施例中，所述關(guān)鍵詞識別模型通過如下方式訓(xùn)練得到：

獲得訓(xùn)練樣本數(shù)據(jù)，所述訓(xùn)練樣本數(shù)據(jù)包括帶有關(guān)鍵詞標簽的字段注釋文本；