[發(fā)明專利]基于自注意力機(jī)制方面術(shù)語(yǔ)提取系統(tǒng)、方法、介質(zhì)、終端

有效

• 申請(qǐng)?zhí)枺?/td>: 202110949000.6
• 申請(qǐng)日: 2021-08-18
• 公開（公告）號(hào): CN113743099B
• 公開（公告）日: 2023-10-13
• 發(fā)明（設(shè)計(jì)）人: 石俊杰;王茜
• 申請(qǐng)（專利權(quán)）人: 重慶大學(xué)
• 主分類號(hào): G06F40/253
• 分類號(hào): G06F40/253;G06F40/211;G06F40/30;G06F18/2415;G06N3/0442;G06N3/08
• 代理公司: 重慶立信達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 50286
• 代理人: 劉竹

1.一種基于自注意力機(jī)制方面術(shù)語(yǔ)提取系統(tǒng)，其特征在于，所述基于自注意力機(jī)制方面術(shù)語(yǔ)提取系統(tǒng)包括：

詞嵌入層，用于利用詞性標(biāo)注工具進(jìn)行語(yǔ)句中各個(gè)單詞的詞性，并輸出句中每一個(gè)詞的詞性詞向量表示；

第一BiReGU層，用于對(duì)句子每一個(gè)單詞的前文信息和后文信息進(jìn)行處理，挖掘輸入序列的上下文信息，深入地訓(xùn)練獲得有用的文本特征，并計(jì)算隱藏狀態(tài)；

單詞注意力計(jì)算層，用于基于計(jì)算得到的隱藏狀態(tài)分配不同的權(quán)重，為句子的每個(gè)單詞生成不同的權(quán)重向量，并加權(quán)求和得到上下文向量；

第二BiReGU層，用于基于得到的權(quán)重向量與詞嵌入相結(jié)合進(jìn)行全局特征信息的提取；

全連接層，用于對(duì)提取信息進(jìn)行處理；

CRF層，用于進(jìn)行方面術(shù)語(yǔ)的標(biāo)記，提取得到相應(yīng)的方面術(shù)語(yǔ)。

2.一種運(yùn)行權(quán)利要求1所述基于自注意力機(jī)制方面術(shù)語(yǔ)提取系統(tǒng)的基于自注意力機(jī)制方面術(shù)語(yǔ)提取方法，其特征在于，所述基于自注意力機(jī)制方面術(shù)語(yǔ)提取方法包括：

首先，利用詞性標(biāo)注工具進(jìn)行語(yǔ)句中各個(gè)單詞的詞性，并輸出句中每一個(gè)詞的詞性詞向量表示；同時(shí)學(xué)習(xí)詞在內(nèi)容和詞性方面的長(zhǎng)期依賴關(guān)系；

其次，通過自注意力機(jī)制為文本中的每個(gè)詞語(yǔ)賦予不同的權(quán)重；將得到的權(quán)重向量再次與詞嵌入相結(jié)合，學(xué)習(xí)全局的文本特征表示；

最后，考慮鄰居標(biāo)簽之間的相關(guān)性，進(jìn)行全局選擇，計(jì)算得到每一個(gè)單詞的標(biāo)簽；用IOB₂格式標(biāo)記句子中的每個(gè)單詞，提取標(biāo)簽為B、I的單詞作為方面術(shù)語(yǔ)。

3.如權(quán)利要求2所述基于自注意力機(jī)制方面術(shù)語(yǔ)提取方法，其特征在于，所述基于自注意力機(jī)制方面術(shù)語(yǔ)提取系統(tǒng)包括以下步驟：

步驟一，進(jìn)行文本數(shù)據(jù)表示形式的轉(zhuǎn)換；并利用詞嵌入層預(yù)訓(xùn)練模型得到詞向量，再通過詞性標(biāo)注模型確定詞性向量；

步驟二，將得到的詞性向量通過第一BiReGU層對(duì)句子每一個(gè)單詞的前文信息和后文信息進(jìn)行處理，挖掘輸入序列的上下文信息，深入訓(xùn)練得到有用的文本特征，計(jì)算隱藏狀態(tài)；

步驟三，注意力計(jì)算層基于自注意機(jī)制根據(jù)BiReGU層的輸出的隱藏狀態(tài)分配不同的權(quán)重，并為句子的每個(gè)單詞生成不同的權(quán)重向量，同時(shí)加權(quán)求和得到上下文向量；

步驟四，將注意力計(jì)算層的權(quán)輸出與詞性詞向量信息進(jìn)行拼接，并將拼接結(jié)果輸入第二BiReGU層，得到全局的特征信息；

步驟五，將第二BiReGU層輸出的向量送入全連接層進(jìn)行處理并通過添加的CRF層得到預(yù)測(cè)的標(biāo)簽序列Y即對(duì)應(yīng)語(yǔ)句中方面術(shù)語(yǔ)的標(biāo)記，提取得到方面術(shù)語(yǔ)。

4.如權(quán)利要求3所述基于自注意力機(jī)制方面術(shù)語(yǔ)提取方法，其特征在于，步驟一中，所述利用詞嵌入層預(yù)訓(xùn)練模型得到詞向量，再通過詞性標(biāo)注模型確定詞性向量包括：

輸入詞嵌入層得到詞性詞向量的表示形式：將輸入句子X劃分為n個(gè)詞，將輸入語(yǔ)句表示為其中X_i(1≤i≤n)表示X中第i個(gè)詞，表示詞之間的串聯(lián)操作；

詞X_i相應(yīng)的采用Glove模型進(jìn)行預(yù)訓(xùn)練，得到詞向量用表示，其中表示訓(xùn)練詞向量集，|V|表示詞匯表V的大小，d表示詞向量維度；

利用詞性標(biāo)注工具得到X_i的詞性，用表示，得到每一個(gè)詞X_i的詞性詞向量表示為

5.如權(quán)利要求3所述基于自注意力機(jī)制方面術(shù)語(yǔ)提取方法，其特征在于，步驟二中，所述隱藏狀態(tài)計(jì)算公式如下：

其中，h_t表示t時(shí)刻隱藏狀態(tài)，表示前向ReGU的隱藏狀態(tài)輸出結(jié)果，表示后向ReGU的隱藏狀態(tài)輸出結(jié)果。