[發明專利]文本語料的處理方法和裝置

有效

• 申請號: 201911419932.9
• 申請日: 2019-12-31
• 公開（公告）號: CN111160035B
• 公開（公告）日: 2023-06-20
• 發明（設計）人: 張強;喻波;王志海;魏力;謝福進
• 申請（專利權）人: 北京明朝萬達科技股份有限公司
• 主分類號: G06F40/295
• 分類號: G06F40/295;G06F16/35;G06N3/04;G06N3/084
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 王淼

本發明公開了一種文本語料的處理方法和裝置。其中，該方法包括：識別文本語料中的多個實體，以及多個實體關系；基于多個實體和多個實體關系，構建結構化矩陣，其中，結構化矩陣中的每個實體標注了對應的實體標簽，每個實體關系標注了對應的關系標簽；使用神經網絡模型中的反向傳播算法來更新神經網絡模型的模型參數；使用更新了模型參數的神經網絡模型來訓練結構化矩陣中的數據，訓練得到聯合抽取模型，其中，聯合抽取模型用于對文本語句進行預測。本發明解決了相關技術中聯合抽取方式采用神經網絡來建立實體和關系之間的模型，由于預測實體時只能抽取單一實體之間的對應關系，導致無法解決多實體之間的關系抽取的技術問題。

技術領域

本發明涉及自然語言處理領域，具體而言，涉及一種文本語料的處理方法和裝置。

背景技術

如何快速準確地從海量非結構化或半結構化的信息空間中抽取出用戶需要的結構化內容，是信息挖掘技術的一個重要研究方向。關系抽取作為自然語言處理(NaturalLanguage?Processing，NLP)的一項關鍵任務，其目的正是獲取實體之間的關系。

關系抽取首先需要對文本語料中的實體進行識別，然后基于識別出的實體抽取實體之間的關系。傳統的關系抽取采用串行模式處理，先提取實體，再識別實體之間的關系。該方法將整體任務分離成子任務獨立運行，但是忽略了兩者之間的相關性，實體識別的結果會產生大量的冗余信息，并會導致錯誤傳播。聯合抽取方式通過采用單一模型，將實體和關系一次性提取出來，有效地整合了實體和關系的信息，避免關系抽取受到實體識別錯誤的影響，是目前信息抽取的主要研究方向。現階段，聯合抽取方式大多數是基于特征工程構建結構化系統，通過將實體識別和關系抽取聯合建模，直接得到有關系的實體三元組，可有效解決串行模式抽取關系帶來的問題。但該方法嚴重依賴特征工程的設計，多實體間關系錯綜復雜，導致特征工程結構龐大，同時需要大量的人工抽取特征，進一步增大了誤差傳播。

為克服上述問題，基于詞序信息和依存樹結構信息的聯合抽取方式，將聯合抽取任務轉換為標注問題，可有效抽取實體間的關系，通過神經網絡建立模型，無需復雜的特征工程設計。但該方法在預測實體時只能抽取單一實體之間一對一的對應關系，無法解決關系重疊的問題。

針對相關技術中聯合抽取方式采用神經網絡來建立實體和關系之間的模型，由于預測實體時只能抽取單一實體之間的對應關系，導致無法解決多實體之間的關系抽取的技術問題，目前尚未提出有效的解決方案。

發明內容

本發明實施例提供了一種文本語料的處理方法和裝置，以至少解決相關技術中聯合抽取方式采用神經網絡來建立實體和關系之間的模型，由于預測實體時只能抽取單一實體之間的對應關系，導致無法解決多實體之間的關系抽取的技術問題。

根據本發明實施例的一個方面，提供了一種文本語料的處理方法，包括：識別文本語料中的多個實體，以及多個實體關系；基于多個實體和多個實體關系，構建結構化矩陣，其中，結構化矩陣中的每個實體標注了對應的實體標簽，每個實體關系標注了對應的關系標簽；使用神經網絡模型中的反向傳播算法來更新神經網絡模型的模型參數；使用更新了模型參數的神經網絡模型來訓練結構化矩陣中的數據，訓練得到聯合抽取模型，其中，聯合抽取模型用于對文本語句進行預測。

可選地，在基于多個實體和多個實體關系，構建結構化矩陣之前，上述方法還包括：對文本語料進行標注，其中，文本語料的標注包括：每個實體的實體標簽，每個實體關系的關系標簽；基于文本語料的標注結果，獲取包含了文本語料中實體之間的復合關系的結構化數據，其中，復合關系表征實體之間多對多的關系。

可選地，基于多個實體和多個實體關系，構建結構化矩陣，包括：讀取結構化數據中包含的多個實體和多個實體關系；遍歷文本語料中的句子，將每個句子中字編號，實體，實體標簽，實體關系的關系標簽，作為列表封裝到文本語料的句子中，得到結構化矩陣，其中，結構化矩陣用于確定實體之間的復合關系特征。