[發明專利]模型生成、實體識別方法、裝置、電子設備及存儲介質

在審

• 申請號: 202110615773.0
• 申請日: 2021-06-02
• 公開（公告）號: CN113378569A
• 公開（公告）日: 2021-09-10
• 發明（設計）人: 李成江;溫麗紅;羅星池;廖群;劉亮;李超
• 申請（專利權）人: 北京三快在線科技有限公司
• 主分類號: G06F40/295
• 分類號: G06F40/295;G06F16/36;G06F40/30
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 任亞娟

本公開實施例提供了一種模型生成、實體識別方法、裝置、電子設備及存儲介質。模型生成方法包括：獲取樣本數據，樣本數據包括樣本文本和樣本標簽；將所述樣本文本作為預設初始模型的輸入，在所述初始模型中，基于所述樣本文本中各字符對應的語義表示向量和圖譜表示向量，生成所述樣本文本對應的特征表示向量；在基于所述樣本標簽和所述特征表示向量確定訓練完成后，將訓練完成的模型作為實體識別模型。本公開實施例中，實體識別模型不再單一地通過挖掘成分間的特征來進行識別，而是綜合考慮文本中各字符對應的語義表示向量和圖譜表示向量進行識別，能夠達到較好的識別效果。

技術領域

本公開涉及互聯網技術領域，特別是涉及一種模型生成、實體識別方法、裝置、電子設備及存儲介質。

背景技術

命名實體識別(Named Entity Recognition，NER)旨在識別出給定文本中所提及的實體，并預測實體的類別，是很多自然語言處理流程中的關鍵步驟。精準的實體識別結果將極大提升搜索、問答和推薦等應用的效果。

目前的NER方法通常是利用實體識別模型進行實體識別。現有的實體識別模型大多基于文本間依賴關系較為緊密的輸入文本，通常只是單一地通過挖掘成分間顯式或隱式的特征來進行實體識別。但是對于文本間依賴關系較為稀疏的文本，實體識別模型在識別時由于只考慮成分間的特征，因此識別效果較差。

發明內容

鑒于上述問題，本公開實施例提出了克服上述問題或者至少部分地解決上述問題的一種模型生成、實體識別方法、裝置、電子設備及存儲介質。

根據本公開的實施例的第一方面，提供了一種模型生成方法，包括：

獲取樣本數據；所述樣本數據包括樣本文本和樣本標簽；

將所述樣本文本作為預設初始模型的輸入，在所述初始模型中，基于所述樣本文本中各字符對應的語義表示向量和圖譜表示向量，生成所述樣本文本對應的特征表示向量；

在基于所述樣本標簽和所述特征表示向量確定訓練完成后，將訓練完成的模型作為實體識別模型。

可選地，所述圖譜表示向量包括實體表示向量和概念表示向量；基于所述樣本文本中各字符對應的語義表示向量和圖譜表示向量，生成所述樣本文本對應的特征表示向量，包括：針對所述樣本文本中的每個字符，獲取所述字符對應的語義表示向量；獲取所述字符對應的實體表示向量，將所述語義表示向量與所述實體表示向量進行融合處理，得到所述字符對應的第一表示向量；獲取所述字符對應的概念表示向量，將所述第一表示向量與所述概念表示向量進行融合處理，得到所述字符對應的特征表示向量。

可選地，獲取所述字符對應的語義表示向量，包括：從預先生成的詞典庫中，查詢所述字符對應的字符表示向量和詞匯表示向量；將所述字符表示向量和所述詞匯表示向量進行拼接，得到所述字符對應的語義表示向量。

可選地，獲取所述字符對應的實體表示向量包括：從預先生成的實體表示向量集合中，查詢所述字符對應的實體表示向量；獲取所述字符對應的概念表示向量包括：獲取預先生成的概念表示向量集合，將所述概念表示向量集合中包含的概念表示向量，作為所述字符對應的概念表示向量。

可選地，所述實體表示向量集合和所述概念表示向量集合通過如下方式生成：獲取事實三元組集合；所述事實三元組集合包括：實體與實體間的事實關系集合，概念與概念間的事實關系集合，和實體與概念間的事實關系集合；利用預設的知識表示模型分別對所述實體與實體間的事實關系集合，以及所述概念與概念間的事實關系集合兩個子圖進行建模，并確定實體學習優化目標和概念學習優化目標；獲取概念所在的向量空間與實體所在的向量空間之間的線性變換關系，并確定關聯學習優化目標；在所述實體學習優化目標，所述概念學習優化目標和所述關聯學習優化目標滿足預設條件后，得到所述實體表示向量集合和所述概念表示向量集合。

根據本公開的實施例的第二方面，提供了一種實體識別方法，包括：

獲取待識別文本；