[發(fā)明專利]一種標(biāo)簽融合的聯(lián)合抽取方法

在審

• 申請?zhí)枺?/td>: 202210835252.0
• 申請日: 2022-07-15
• 公開（公告）號: CN115114934A
• 公開（公告）日: 2022-09-27
• 發(fā)明（設(shè)計）人: 程良倫;陳文燕
• 申請（專利權(quán)）人: 廣東工業(yè)大學(xué);廣東能哥知識科技有限公司
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06F16/28;G06N3/04;G06N3/08
• 代理公司: 成都方圓聿聯(lián)專利代理事務(wù)所(普通合伙) 51241
• 代理人: 茍銘

1.一種標(biāo)簽融合的聯(lián)合抽取方法，其特征在于，包括以下步驟；

S1：將字符特征輸入到堆疊雙向BiLSTM進(jìn)行上下文特征提取；

S2：結(jié)合句子特征利用多頭注意力機(jī)制來捕獲字符特征；

S3：基于提取的字符特征，用CRF捕獲預(yù)測第一階段的實體標(biāo)簽；

S4：由BiLSTM和Self-Attention組成BLA單元，對識別的實體標(biāo)簽進(jìn)行建模融合標(biāo)簽特征；

S5：將S1中堆疊的BiLSTM的上下文特征與BLA單元輸出的標(biāo)簽特征進(jìn)行拼接來預(yù)測第一階段的實體關(guān)系；

S6用S5的實體關(guān)系結(jié)果構(gòu)造圖卷積的鄰接特征矩陣，結(jié)合上下文特征得到圖卷積特征；

S7將圖卷積特征與堆疊的BiLSTM的上下文特征相加得到標(biāo)簽特征，并將第一階段的實體標(biāo)簽共同輸入到BLA單元中進(jìn)行建模作為綜合詞特征；

S8將綜合詞特征與標(biāo)簽特征進(jìn)行拼接后輸入到BLA單元得到動態(tài)標(biāo)簽特征；

S9基于動態(tài)標(biāo)簽特征，用CRF預(yù)測第二階段的實體標(biāo)簽；

S10通過標(biāo)簽門控將第一階段的實體標(biāo)簽與第二階段的實體標(biāo)簽進(jìn)行融合，得到融合標(biāo)簽嵌入；

S11將融合標(biāo)簽嵌入與S8的動態(tài)標(biāo)簽特征輸入到BLA單元中建模動態(tài)標(biāo)簽特征，得出第二階段的關(guān)系預(yù)測。

2.根據(jù)權(quán)利要求1所述的一種標(biāo)簽融合的聯(lián)合抽取方法，其特征在于：S1具體步驟為：

S101：對含有同一實體對e₁,e₂的句子集合T₁＝{s₁,s₂,…,s_n}，將集合中的每一條句子的單詞映射到低維空間，得到句子的每個單詞的詞向量表示；

S102：將句子向量X_t＝{x₁,x₂,…,x_t}作為BiLSTM神經(jīng)網(wǎng)絡(luò)的輸入，經(jīng)過堆疊雙向BiLSTM進(jìn)行上下文信息特征提取，并將BiLSTM的輸出作為注意力機(jī)制網(wǎng)絡(luò)的輸入；公式如下：

S103：在每個時間步中，將LSTM的前向和后向輸出連接起來，得到最終的LSTM輸出深度上下文特征ht；

3.根據(jù)權(quán)利要求2所述的一種標(biāo)簽融合的聯(lián)合抽取方法，其特征在于：S2具體步驟為；

S201：首先通過使用不同的線性投影將輸入向量h的矩陣映射到查詢、鍵和值矩陣，多頭注意力計算公式如下：

head_i＝Attention(QW_i^Q，KW_i^K,VW_i^V)；

S202：采用z個平行頭在通道的不同部位進(jìn)行注意操作，并進(jìn)行拼接，輸出字符特征，公式如下:

M＝Concat(head₁,...,head_z)W^Q。

4.根據(jù)權(quán)利要求3所述的一種標(biāo)簽融合的聯(lián)合抽取方法，其特征在于：S3具體步驟為：

S301：在實體標(biāo)簽標(biāo)記中，使用CRF對全局最優(yōu)標(biāo)記進(jìn)行劃分；給定字符特征M所有可能的序列Y的評分由以下公式計算得出：

S302：用Softmax函數(shù)歸一化得到Y(jié)序列標(biāo)簽的最大概率，以一系列預(yù)測標(biāo)記L＝[l₁,...,l_n]作為輸出，公式如下：

S303：在訓(xùn)練CRF時，使用最大似然估計作為損失函數(shù)來最大化P(Y|M),公式如下：

S304：利用Viterbi算法求得所有序列上預(yù)測總得分的最高標(biāo)簽，作為序列的實體識別結(jié)果，公式如下：

loss_1st-ner＝agrmax_Y′∈f(M)log(P(Y′|M))。