[發明專利]基于預訓練模型的人稱代詞消解方法

有效

• 申請號: 202110733081.6
• 申請日: 2021-06-29
• 公開（公告）號: CN113392629B
• 公開（公告）日: 2022-10-28
• 發明（設計）人: 張偉男;張家樂;趙正宇;劉挺
• 申請（專利權）人: 哈爾濱工業大學
• 主分類號: G06F40/211
• 分類號: G06F40/211;G06F40/284;G06F40/295;G06N3/04;G06N3/08
• 代理公司: 哈爾濱華夏松花江知識產權代理有限公司 23213
• 代理人: 岳昕

基于預訓練模型的人稱代詞消解方法，涉及人工智能技術領域，針對現有技術中代詞消解的準確率低問題，本申請模型使用基于排序的代詞消解框架，對于一個待消解的代詞，存在一個候選先行詞的集合，對于每一個候選先行詞進行消解打分，打分最高的候選先行詞作為消解對象進行消解。本申請引入預訓練模型，利用預訓練模型使用大量無標注文本進行訓練的特點，能夠更好的捕捉上下文信息，有效提高代詞消解的指標，從而更好的幫助下游任務，提高代詞消解的準確率，并提高了代詞消解的效率。

技術領域

本發明涉及人工智能技術領域，具體為基于預訓練模型的人稱代詞消解方法。

背景技術

人稱代詞消解，就是指在文本中確定人稱代詞指向哪個實體的問題，代詞稱為指示語或照應語(Anaphor)，其所指向的實體一般被稱為先行詞(Antecedent)，根據二者之間的先后位置，可分為回指(Anaphora)與預指(Cataphora)，其中：如果先行語出現在指示語之前，則稱為回指，反之則稱為預指。

基于規則的代詞消解方法大多依賴句法樹，通過給定的規則對代詞進行消解。Hobbs等人(1978)(Hobbs,J.R.(1978).Resolving pronoun references.Lingua,44(4),311-338.)提出了Hobbs算法，它利用完整的句法分析樹和語義知識進行代詞消解。Grosz等人(1995)(Grosz,B.J.,Weinstein,S.,Joshi,A.K.(1995).Centering:A framework formodeling the local coherence of discourse.Computational linguistics,21(2),203-225.)提出中心理論(Centenring Theory)，利用上下文等分析文本結構中的焦點轉移、表達形式和話語一致性等問題進行代詞消解。

基于機器學習方法的代詞消解方法主要將代詞消解問題轉換為分類或者排序問題。分類方法判斷代詞與每一個候選先行詞是否共指，并使用啟發式方法在所有共指的候選先行語中選擇一個作為消解對象。排序方法則對代詞和每一個候選先行詞打分，選擇打分最高的候選先行詞作為消解對象。

Mccarthy等人(McCarthy JF,Lehnert WG.Using Decision Trees forCoreference Resolution.1995.http://arxiv.org/abs/cmp-lg/9505043.)提出表述對模型，將代詞消解任務視為二分類問題，根據經驗抽取一個候選先行詞的語義特征，根據共指指標訓練分類器模型。

Soon等人(Soon WM,Lim DCY,Ng HT.Amachine learning approach tocoreference resolution of noun phrases.Comput Linguist.2001；27(4):521-544.doi:10.1162/089120101753342653)對Mccarthy的表述對模型進行改進，提出為每個待消解代詞選擇最近的共指候選先行詞，并進一步拓展特征。

Shane等人(Bergsma S,Lin D.Bootstrapping path-based pronounresolution.In:COLING/ACL 2006-21st International Conference on ComputationalLinguistics and 44th Annual Meeting of the Association for ComputationalLinguistics,Proceedings of the Conference.；2006.doi:10.3115/1220175.1220180.)提出一種基于句法路徑的代詞消解方法，通過一個簡單的自舉過程，根據兩個實體在句法分析樹中的路徑來學習代詞和候選先行詞共指的可能性。