[發(fā)明專利]基于自注意力機(jī)制方面術(shù)語提取系統(tǒng)、方法、介質(zhì)、終端

有效

• 申請?zhí)枺?/td>: 202110949000.6
• 申請日: 2021-08-18
• 公開（公告）號: CN113743099B
• 公開（公告）日: 2023-10-13
• 發(fā)明（設(shè)計(jì)）人: 石俊杰;王茜
• 申請（專利權(quán)）人: 重慶大學(xué)
• 主分類號: G06F40/253
• 分類號: G06F40/253;G06F40/211;G06F40/30;G06F18/2415;G06N3/0442;G06N3/08
• 代理公司: 重慶立信達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 50286
• 代理人: 劉竹

本發(fā)明屬于自然語言處理技術(shù)領(lǐng)域，公開了一種基于自注意力機(jī)制方面術(shù)語提取系統(tǒng)、方法、介質(zhì)、終端，包括：詞嵌入層利用詞性標(biāo)注工具進(jìn)行語句中各個(gè)單詞的詞性，并輸出句中每一個(gè)詞的詞性詞向量表示；第一BiReGU層對句子每一個(gè)單詞的前文信息和后文信息進(jìn)行處理，挖掘上下文信息，計(jì)算隱藏狀態(tài)；單詞注意力計(jì)算層分配不同的權(quán)重，為句子的每個(gè)單詞生成不同的權(quán)重向量，并加權(quán)求和得到上下文向量；第二BiReGU層基于得到的權(quán)重向量與詞嵌入相結(jié)合進(jìn)行全局特征信息的提取；全連接層對提取信息進(jìn)行處理；CRF層進(jìn)行方面術(shù)語的標(biāo)記，提取得到相應(yīng)的方面術(shù)語。本發(fā)明能夠有效、準(zhǔn)確的進(jìn)行方面術(shù)語的提取。

技術(shù)領(lǐng)域

本發(fā)明屬于自然語言處理技術(shù)領(lǐng)域，尤其涉及一種基于自注意力機(jī)制方面術(shù)語提取系統(tǒng)、方法、介質(zhì)、終端。

背景技術(shù)

目前：方面術(shù)語提取(Aspect Term Extraction)作為ABSA的子任務(wù)，也是一種特定領(lǐng)域的實(shí)體命名識(shí)別。例如，“The picture quality of my Motorola camera phone isamazing”中，從方面級情感分析的角度可以看出“picture quality”為方面術(shù)語，“amazing”是方面詞所對應(yīng)表達(dá)的情感觀點(diǎn)詞。所以方面術(shù)語提取是方面級情感分析中的一個(gè)關(guān)鍵問題，情感分析中先要去提取帶有情感的方面術(shù)語，再根據(jù)提取到的方面術(shù)語進(jìn)行情感分析。

通過上述分析，現(xiàn)有技術(shù)存在的問題及缺陷為：現(xiàn)有模型方法不能高效的挖掘單詞間的隱式關(guān)系，導(dǎo)致方面術(shù)語提取不完整、不全面，甚至可能提取到了非方面術(shù)語詞。

解決以上問題及缺陷的難度為：基于已有模型，將詞性信息與自注意力機(jī)制相結(jié)合，找到改善ReGU(Residual gated unit)模型依賴預(yù)訓(xùn)練詞向量模型作為輸入出現(xiàn)的詞共現(xiàn)信息不足現(xiàn)象的方法。

解決以上問題及缺陷的意義為：在準(zhǔn)確提取到方面術(shù)語詞之后，可以提高后續(xù)方面級情感分析的準(zhǔn)確性。

發(fā)明內(nèi)容

針對現(xiàn)有技術(shù)存在的問題，本發(fā)明提供了一種基于自注意力機(jī)制方面術(shù)語提取系統(tǒng)、方法、介質(zhì)、終端。

本發(fā)明是這樣實(shí)現(xiàn)的，一種基于自注意力機(jī)制方面術(shù)語提取系統(tǒng)，所述基于自注意力機(jī)制方面術(shù)語提取系統(tǒng)包括：

詞嵌入層，用于利用詞性標(biāo)注工具進(jìn)行語句中各個(gè)單詞的詞性，并輸出句中每一個(gè)詞的詞性詞向量表示；

第一BiReGU層，用于對句子每一個(gè)單詞的前文信息和后文信息進(jìn)行處理，挖掘輸入序列的上下文信息，深入地訓(xùn)練獲得有用的文本特征，并計(jì)算隱藏狀態(tài)；

單詞注意力計(jì)算層，用于基于計(jì)算得到的隱藏狀態(tài)分配不同的權(quán)重，為句子的每個(gè)單詞生成不同的權(quán)重向量，并加權(quán)求和得到上下文向量；

第二BiReGU層，用于基于得到的權(quán)重向量與詞嵌入相結(jié)合進(jìn)行全局特征信息的提取；

全連接層，用于對提取信息進(jìn)行處理；

CRF層，用于進(jìn)行方面術(shù)語的標(biāo)記，提取得到相應(yīng)的方面術(shù)語。

本發(fā)明的另一目的在于提供一種應(yīng)用于所述基于自注意力機(jī)制方面術(shù)語提取系統(tǒng)的基于自注意力機(jī)制方面術(shù)語提取方法，所述基于自注意力機(jī)制方面術(shù)語提取方法包括：

首先，利用詞性標(biāo)注工具進(jìn)行語句中各個(gè)單詞的詞性，并輸出句中每一個(gè)詞的詞性詞向量表示；同時(shí)學(xué)習(xí)詞在內(nèi)容和詞性方面的長期依賴關(guān)系；

其次，通過自注意力機(jī)制為文本中的每個(gè)詞語賦予不同的權(quán)重；將得到的權(quán)重向量再次與詞嵌入相結(jié)合，學(xué)習(xí)全局的文本特征表示；

最后，考慮鄰居標(biāo)簽之間的相關(guān)性，進(jìn)行全局選擇，計(jì)算得到每一個(gè)單詞的標(biāo)簽；用IOB₂格式標(biāo)記句子中的每個(gè)單詞，提取標(biāo)簽為B、I的單詞作為方面術(shù)語。