[發明專利]命名實體識別模型訓練方法、樣本標注方法、裝置及設備

在審

• 申請號: 202011481841.0
• 申請日: 2020-12-14
• 公開（公告）號: CN112487817A
• 公開（公告）日: 2021-03-12
• 發明（設計）人: 張杰;于皓;鄧禮志;吳信東
• 申請（專利權）人: 北京明略軟件系統有限公司
• 主分類號: G06F40/295
• 分類號: G06F40/295;G06F16/332;G06K9/62
• 代理公司: 北京超成律師事務所 11646
• 代理人: 裴素英

本申請提供一種命名實體識別模型訓練方法、樣本標注方法、裝置及設備，屬于文字識別技術領域。該方法包括：接收終端設備發送的會話文本；使用命名實體識別模型對會話文本進行命名實體識別處理，得到會話文本的命名實體識別結果，并將命名實體識別結果發送給終端設備；若接收到終端設備發送的調整后識別結果，則將調整后識別結果以及會話文本作為新的樣本更新至命名實體識別模型的訓練集，得到更新后的訓練集；基于更新后的訓練集對命名實體識別模型進行訓練。本申請可以降低文本識別成本。

技術領域

本申請涉及文字識別技術領域，具體而言，涉及一種命名實體識別模型訓練方法、樣本標注方法、裝置及設備。

背景技術

人們在工作時通常會使用溝通工具進行相互消息交互，例如：聊天工具等。利用這些溝通工具所得到的溝通文字，可以作為自然語言處理領域的語料。在自然語言處理領域，例如信息提取、問答系統、句法分析、機器翻譯等領域，可以對上述的溝通文字等非結構化文字進行命名實體識別(Named Entity Recognition，簡稱NER)，以抽取出多種命名實體。其中，利用命名實體識別模型抽取命名實體，是普遍使用的一種手段。命名實體識別模型需要預先訓練得到。

目前，采用的識別方法主要是采用需要識別的類型的語料對現有的命名實體識別模型進行訓練標注，進而對該類型的語料對應的文字進行識別。然而，當需要對不同類型的文字進行識別時，又需要重新設置訓練語料對該模型進行訓練，訓練過程需要耗費大量的成本，導致了識別的成本較高。

發明內容

本申請的目的在于提供一種命名實體識別模型訓練方法、樣本標注方法、裝置及設備，可以降低文本識別成本。

本申請的實施例是這樣實現的：

本申請實施例的一方面，提供一種命名實體識別模型訓練方法，該方法包括：

接收終端設備發送的會話文本；

使用命名實體識別模型對會話文本進行命名實體識別處理，得到會話文本的命名實體識別結果，并將命名實體識別結果發送給終端設備；

若接收到終端設備發送的調整后識別結果，則將調整后識別結果以及會話文本作為新的樣本更新至命名實體識別模型的訓練集，得到更新后的訓練集；

基于更新后的訓練集對命名實體識別模型進行訓練。

可選地，基于更新后的訓練集對命名實體識別模型進行訓練，包括：

確定更新后的訓練集中各樣本的樣本權重；

基于各樣本的樣本權重，對命名實體識別模型進行訓練。

可選地，確定更新后的訓練集中各樣本的樣本權重，包括：

根據各樣本的時間順序，確定各樣本的樣本權重。

可選地，確定更新后的訓練集中各樣本的樣本權重，包括：

根據各樣本的樣本類別，確定各樣本的樣本權重。

可選地，基于更新后的訓練集對命名實體識別模型進行訓練，包括：

根據預設的更新策略判定是否對命名實體識別模型進行重新訓練；

若是，則基于更新后的訓練集對命名實體識別模型進行訓練。

本申請實施例的另一方面，提供一種樣本標注方法，該方法包括：

獲取會話文本，并將會話文本發送給服務器；

接收服務器發送的會話文本的命名實體識別結果；

使用預設的樣式顯示命名實體識別結果；

若接收到用戶輸入的針對命名實體識別結果的調整后識別結果，則將調整后識別結果發送給服務器。