[發(fā)明專利]基于預訓練模型的人稱代詞消解方法

有效

• 申請?zhí)枺?/td>: 202110733081.6
• 申請日: 2021-06-29
• 公開（公告）號: CN113392629B
• 公開（公告）日: 2022-10-28
• 發(fā)明（設計）人: 張偉男;張家樂;趙正宇;劉挺
• 申請（專利權）人: 哈爾濱工業(yè)大學
• 主分類號: G06F40/211
• 分類號: G06F40/211;G06F40/284;G06F40/295;G06N3/04;G06N3/08
• 代理公司: 哈爾濱華夏松花江知識產(chǎn)權代理有限公司 23213
• 代理人: 岳昕

1.基于預訓練模型的人稱代詞消解方法，其特征在于包括以下步驟：

步驟一：利用預訓練模型對待消解文本上下文進行建模，得到上下文相關的字向量；

步驟二：對于存在代詞的句子，將該句子以及該句子之前內容中的人名和最大名詞片段進行識別，并將識別結果作為候選先行詞，所述最大名詞片段為連續(xù)名詞的拼接；

步驟三：將代詞和候選先行詞進行編碼得到代詞的文本片段向量和候選先行詞的文本片段向量，然后將代詞的文本片段向量和候選先行詞的文本片段向量分別與設定的長度特征拼接得到代詞的向量及候選先行詞的向量；

步驟四：根據(jù)上下文相關的字向量得到候選先行詞的字向量，然后利用候選先行詞的字向量以及代詞的文本片段表示得到期望先行詞的向量，最后將期望先行詞的向量、代詞的向量以及候選先行詞的向量拼接后，通過前饋神經(jīng)網(wǎng)絡進行消解打分，其中，期望先行詞的表示具體為：

α_t＝ω_α·FFNN_α(x_t，m_p)

m_exp表示期望先行詞的表示，m_p表示照應詞的表示，表示該代詞所有的候選先行詞，START(i)和END(i)表示第i個候選先行詞的開始位置和終止位置，α_i，t表示歸一化之后權重，α_t表示權重因子，ω_α是需要訓練的參數(shù)，α_k表示候選先行詞的權重，x_t表示字向量，消解打分具體為：

score_i＝FFNN([m_p，m_i，m_p*m_i，m_exp])

m_p表示代詞的編碼，m_i表示第i個先行詞的編碼，m_exp表示期望先行詞表示，*表示向量的元素乘，對三部分向量進行連接構成最后消解對的表示，F(xiàn)FNN表示前饋神經(jīng)網(wǎng)絡，用來獲取最終的消解打分；

步驟五：取消解打分最高的候選先行詞作為消解對象進行消解。

2.根據(jù)權利要求1所述的基于預訓練模型的人稱代詞消解方法，其特征在于所述預訓練模型為BERT或SpanBert。

3.根據(jù)權利要求1所述的基于預訓練模型的人稱代詞消解方法，其特征在于所述上下文表示為：

Context＝(w₁，w₂，w₃，...，w_n)

其中，w表示文字，n表示序號。

4.根據(jù)權利要求3所述的基于預訓練模型的人稱代詞消解方法，其特征在于所述上下文相關的字向量表示為：

(x₁，x₂，x₃..，x_p...，x_n)＝PretrainModel(w₁，w₂，w₃..，w_p...，w_n)

其中，x_p表示字向量。

5.根據(jù)權利要求4所述的基于預訓練模型的人稱代詞消解方法，其特征在于所述步驟三中將代詞或候選先行詞進行編碼的方法為：

首先，根據(jù)預訓練模型得到實體片段上的編碼START(i)，...，END(i)，然后在開始位置添加一個可訓練的向量表示x_pr，使用一層或多層Transformer對實體片段進行編碼，選擇最后一層的x_pr的隱狀態(tài)作為實體文本片段的編碼表示；

對于x_pr的值，首先進行隨機初始化，之后在訓練過程中通過反向傳播進行學習，具體表示為：

Transformer(x_pr，START(i)，...，END(i))。