[發(fā)明專利]一種基于Attention機制來構(gòu)建老撾語詞性標(biāo)注模型的方法

在審

• 申請?zhí)枺?/td>: 201811532384.6
• 申請日: 2018-12-14
• 公開（公告）號: CN109753652A
• 公開（公告）日: 2019-05-14
• 發(fā)明（設(shè)計）人: 周蘭江;王興金;張建安;周楓
• 申請（專利權(quán)）人: 昆明理工大學(xué)
• 主分類號: G06F17/27
• 分類號: G06F17/27;G06N3/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明涉及一種基于Attention機制來構(gòu)建老撾語詞性標(biāo)注模型的方法，屬于自然語言處理和機器學(xué)習(xí)技術(shù)領(lǐng)域。Attention機制包括編碼層與解碼層，編碼層對輸入序列進行編碼，以得到包含輸入序列信息的語義向量，并將語義向量傳送給解碼層，解碼層進行相應(yīng)解碼。以詞性標(biāo)注為例：首先將老撾句子輸入編碼層進行編碼，以得到包含該句子信息的語義向量，然后將語義向量傳入解碼層，解碼層可以解碼出句中每個老撾詞的詞性。老撾語詞性標(biāo)注模型的實現(xiàn)過程中，首先得構(gòu)建Attention機制，然后使用老撾語詞性標(biāo)注語料訓(xùn)練Attention機制，就可以得到基于Attention機制的老撾詞性標(biāo)注模型。利用Attention機制建立的老撾語詞性標(biāo)注模型，可以有效的對老撾語進行詞性標(biāo)注，因此本發(fā)明具有一定的研究意義。

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于Attention機制來構(gòu)建老撾語詞性標(biāo)注模型的方法，屬于自然語言處理和機器學(xué)習(xí)技術(shù)領(lǐng)域。

背景技術(shù)

所謂詞性標(biāo)注就是給句中每個詞，確定其最為合適詞性的過程。詞性標(biāo)注是很多NLP任務(wù)的預(yù)處理步驟，它是為后續(xù)更重要的工作做準(zhǔn)備，比如信息提取、語法分析等。早期詞性標(biāo)注使用方法是基于規(guī)則，但是規(guī)則制定非常繁瑣。由此基于統(tǒng)計的方法得以興起，主要使用的模型有HMM模型、CRF模型與MEMM模型。深度學(xué)習(xí)越來原受到重視，但現(xiàn)有技術(shù)中并沒有通過深度學(xué)習(xí)來分析老撾語詞性標(biāo)注的方法。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問題是提供一種基于Attention機制來構(gòu)建老撾語詞性標(biāo)注模型的方法，采用Attention機制來構(gòu)建老撾語詞性標(biāo)注模型。

本發(fā)明采用的技術(shù)方案是：一種基于Attention機制來構(gòu)建老撾語詞性標(biāo)注模型的方法，包括如下步驟：

Step1、Attention機制的構(gòu)建

Attention機制包括兩層：編碼層與解碼層，編碼層用于老撾語的輸入，解碼層用于計算出每個老撾詞的詞性；

Step 1.1、編碼層

編碼層是基于GRU(Gated Recurrent Unit)來構(gòu)建，它是一種時間遞歸神經(jīng)網(wǎng)絡(luò)，適合用于處理、預(yù)測時間序列中間隔相對較長的任務(wù)。為了模型擁有較強的詞性標(biāo)注能力，本發(fā)明在編碼層構(gòu)建了兩層雙向GRU。在編碼時，老撾句子的第一個詞將按序進入GRU中進行處理，GRU會保留并輸出對詞性計算有用的信息，并除去無用信息，信息以向量的形式呈現(xiàn)。為了適應(yīng)老撾句子較長的特點，不會造成信息的丟失，本發(fā)明在編碼層加入了BahdanauAttention機制。BahdanauAttention機制是注意力機制的一種，首先它會選擇編碼層每個詞的GRU輸出向量，然后根據(jù)每個向量的重要程度而賦予不同權(quán)重，最后使用輸出向量與權(quán)重計算語義向量C，語義向量C將被輸入到解碼層；

Step 1.2、解碼層

解碼層同樣是基于GRU來構(gòu)建，本發(fā)明在解碼層使用單層GRU。在解碼運算中，首先該層GRU會根據(jù)語義向量C計算出詞性信息向量，然后詞性信息向量會傳遞給Softmax函數(shù)，Softmax函數(shù)來計算出詞性概率分布；

Step2、Attention機制的訓(xùn)練

當(dāng)Attention機制搭建完成后，使用老撾語詞性標(biāo)注語料庫對Attention機制的參數(shù)進行訓(xùn)練，直到模型達到穩(wěn)定狀態(tài)，就得到Attention機制，訓(xùn)練過程中，首先使用交叉熵?fù)p失函數(shù)來計算解碼層輸出的詞性概率分布與真實分布的差距，然后使用Adam算法來減少差距，以此訓(xùn)練Attention機制的參數(shù)；

Step3、選擇詞性概率分布中概率最大的詞性作為輸出；

Step4、在對老撾句子詞性標(biāo)注時，Attention機制循環(huán)Step1，Step3，對老撾句子中的每一個詞進行處理，就可以得到該老撾句子的詞性。

本發(fā)明的有益效果是：