[發(fā)明專利]文本關(guān)鍵詞提取方法、模型的訓(xùn)練方法、裝置和電子設(shè)備

在審

• 申請?zhí)枺?/td>: 202310458542.2
• 申請日: 2023-04-24
• 公開（公告）號: CN116384392A
• 公開（公告）日: 2023-07-04
• 發(fā)明（設(shè)計）人: 倪志恒
• 申請（專利權(quán)）人: 浙江大華技術(shù)股份有限公司
• 主分類號: G06F40/289
• 分類號: G06F40/289;G06F40/284;G06F16/35;G06F18/214;G06F18/2415;G06N3/0464;G06N3/08
• 代理公司: 北京同達(dá)信恒知識產(chǎn)權(quán)代理有限公司 11291
• 代理人: 孫小明

1.一種文本關(guān)鍵詞提取方法，其特征在于，所述文本關(guān)鍵詞用于數(shù)據(jù)元對標(biāo)；所述方法包括：

獲取待處理文本包含的待處理注釋信息；

將所述待處理注釋信息輸入已訓(xùn)練的關(guān)鍵詞識別模型，得到所述待處理注釋信息的所述文本關(guān)鍵詞；

所述關(guān)鍵詞識別模型是采用訓(xùn)練樣本數(shù)據(jù)對語言提取模型進行訓(xùn)練得到的，所述訓(xùn)練樣本數(shù)據(jù)包括帶有關(guān)鍵詞標(biāo)簽的字段注釋文本，所述語言提取模型用于獲取輸入注釋信息的關(guān)鍵詞，且語言提取模型的目標(biāo)損失函數(shù)收斂至預(yù)設(shè)的目標(biāo)條件時獲得已訓(xùn)練的關(guān)鍵詞識別模型；所述目標(biāo)損失函數(shù)為截斷交叉熵?fù)p失函數(shù)；所述截斷交叉熵?fù)p失函數(shù)為使第一類樣本對應(yīng)的損失值收斂，且使第二類樣本對應(yīng)的損失值不收斂的交叉熵?fù)p失函數(shù)；所述第一類樣本的預(yù)測概率落入第一控制值和第二控制值之間的概率控制區(qū)域；所述第二類樣本的預(yù)測概率未落入所述概率控制區(qū)域。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述關(guān)鍵詞識別模型通過如下方式訓(xùn)練得到：

獲得訓(xùn)練樣本數(shù)據(jù)，所述訓(xùn)練樣本數(shù)據(jù)包括帶有關(guān)鍵詞標(biāo)簽的字段注釋文本；

基于所述訓(xùn)練樣本數(shù)據(jù)，選取批次訓(xùn)練語料；所述批次訓(xùn)練語料包括所述字段注釋文本中的一部分；

將所述批次訓(xùn)練語料輸入待訓(xùn)練的語言提取模型進行訓(xùn)練，并確定所述待訓(xùn)練的語言提取模型的目標(biāo)損失函數(shù)的識別損失值；所述目標(biāo)損失函數(shù)為截斷交叉熵?fù)p失函數(shù)；所述截斷交叉熵?fù)p失函數(shù)為使第一類樣本對應(yīng)的損失值收斂，且使第二類樣本對應(yīng)的損失值不收斂的交叉熵?fù)p失函數(shù)；所述第一類樣本的預(yù)測概率落入第一控制值和第二控制值之間的概率控制區(qū)域；所述第二類樣本的預(yù)測概率未落入所述概率控制區(qū)域；所述預(yù)測概率表征所述批次訓(xùn)練語料的關(guān)鍵詞為所述關(guān)鍵詞標(biāo)簽的概率；

若確定所述批次訓(xùn)練語料為所述第二類樣本，則不調(diào)整待訓(xùn)練的語言提取模型的參數(shù)并進行再次訓(xùn)練；

若確定所述批次訓(xùn)練語料為所述第一類樣本，則判斷所述識別損失值是否收斂至預(yù)設(shè)的目標(biāo)值，如果判斷結(jié)果為否，則根據(jù)確定的識別損失值對待訓(xùn)練的語言提取模型的參數(shù)進行調(diào)整并進行再次訓(xùn)練；如果判斷結(jié)果為是，則結(jié)束訓(xùn)練，得到已訓(xùn)練的關(guān)鍵詞識別模型。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述獲得訓(xùn)練樣本數(shù)據(jù)之前，所述方法還包括：

收集目標(biāo)領(lǐng)域的文本數(shù)據(jù)集；

基于所述文本數(shù)據(jù)集，對預(yù)設(shè)的語言模型進行無監(jiān)督語言模型訓(xùn)練，得到所述語言提取模型。

4.一種關(guān)鍵詞識別模型的訓(xùn)練方法，其特征在于，用于生成權(quán)利要求1中所使用的關(guān)鍵詞識別模型，所述訓(xùn)練方法包括：

獲得訓(xùn)練樣本數(shù)據(jù)，所述訓(xùn)練樣本數(shù)據(jù)包括帶有關(guān)鍵詞標(biāo)簽的字段注釋文本；

基于所述訓(xùn)練樣本數(shù)據(jù)，選取批次訓(xùn)練語料；所述批次訓(xùn)練語料包括所述字段注釋文本中的一部分；

將所述批次訓(xùn)練語料輸入待訓(xùn)練的語言提取模型進行訓(xùn)練，并確定所述待訓(xùn)練的語言提取模型的目標(biāo)損失函數(shù)的識別損失值；所述目標(biāo)損失函數(shù)為截斷交叉熵?fù)p失函數(shù)；所述截斷交叉熵?fù)p失函數(shù)為使第一類樣本對應(yīng)的損失值收斂，且使第二類樣本對應(yīng)的損失值不收斂的交叉熵?fù)p失函數(shù)；所述第一類樣本的預(yù)測概率落入第一控制值和第二控制值之間的概率控制區(qū)域；所述第二類樣本的預(yù)測概率未落入所述概率控制區(qū)域；所述預(yù)測概率表征所述批次訓(xùn)練語料的關(guān)鍵詞為所述關(guān)鍵詞標(biāo)簽的概率；

若確定所述批次訓(xùn)練語料為所述第一類樣本，則判斷所述識別損失值是否收斂至預(yù)設(shè)的目標(biāo)值，如果判斷結(jié)果為是，則結(jié)束訓(xùn)練，得到已訓(xùn)練的關(guān)鍵詞識別模型，如果判斷結(jié)果為否，則根據(jù)確定的識別損失值對待訓(xùn)練的語言提取模型的參數(shù)進行調(diào)整并進行再次訓(xùn)練；以及，若確定所述批次訓(xùn)練語料為所述第二類樣本，則不調(diào)整待訓(xùn)練的語言提取模型的參數(shù)并進行再次訓(xùn)練。

5.根據(jù)權(quán)利要求4所述的訓(xùn)練方法，其特征在于，所述獲得訓(xùn)練樣本數(shù)據(jù)之前，所述方法還包括：

收集目標(biāo)領(lǐng)域的文本數(shù)據(jù)集；

基于所述文本數(shù)據(jù)集，對預(yù)設(shè)的語言模型進行無監(jiān)督語言模型訓(xùn)練，得到所述語言提取模型。