[發(fā)明專利]一種基于Attention機(jī)制來(lái)構(gòu)建老撾語(yǔ)詞性標(biāo)注模型的方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201811532384.6
• 申請(qǐng)日: 2018-12-14
• 公開(kāi)（公告）號(hào): CN109753652A
• 公開(kāi)（公告）日: 2019-05-14
• 發(fā)明（設(shè)計(jì)）人: 周蘭江;王興金;張建安;周楓
• 申請(qǐng)（專利權(quán)）人: 昆明理工大學(xué)
• 主分類號(hào): G06F17/27
• 分類號(hào): G06F17/27;G06N3/04
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

1.一種基于Attention機(jī)制來(lái)構(gòu)建老撾語(yǔ)詞性標(biāo)注模型的方法，其特征在于：包括如下步驟：

Step1、Attention機(jī)制的構(gòu)建

Attention機(jī)制包括兩層：編碼層與解碼層，編碼層用于老撾語(yǔ)的輸入，解碼層用于計(jì)算出每個(gè)老撾詞的詞性；

Step 1.1、編碼層

編碼層是基于GRU來(lái)構(gòu)建，在編碼層構(gòu)建了兩層雙向GRU，在編碼時(shí)，老撾句子中的第一個(gè)詞將按序進(jìn)入GRU中進(jìn)行處理，GRU會(huì)保留并輸出對(duì)詞性計(jì)算有用的信息，并除去無(wú)用信息，信息以向量的形式呈現(xiàn)，在編碼層加入了BahdanauAttention機(jī)制，BahdanauAttention機(jī)制是注意力機(jī)制的一種，首先它會(huì)選擇編碼層每個(gè)詞的GRU輸出向量，然后根據(jù)每個(gè)向量的重要程度而賦予不同權(quán)重，最后使用輸出向量與權(quán)重計(jì)算語(yǔ)義向量C，語(yǔ)義向量C將被輸入到解碼層；

Step 1.2、解碼層

解碼層同樣是基于GRU來(lái)構(gòu)建，在解碼層使用單層GRU，在解碼運(yùn)算中，首先該層GRU會(huì)根據(jù)語(yǔ)義向量C計(jì)算出詞性信息向量，然后詞性信息向量會(huì)傳遞給Softmax函數(shù)，Softmax函數(shù)來(lái)計(jì)算出詞性概率分布；

Step2、Attention機(jī)制的訓(xùn)練

當(dāng)Attention機(jī)制搭建完成后，使用老撾語(yǔ)詞性標(biāo)注語(yǔ)料庫(kù)對(duì)Attention機(jī)制的參數(shù)進(jìn)行訓(xùn)練，直到模型達(dá)到穩(wěn)定狀態(tài)，就得到Attention機(jī)制，訓(xùn)練過(guò)程中，首先使用交叉熵?fù)p失函數(shù)來(lái)計(jì)算解碼層輸出的詞性概率分布與真實(shí)分布的差距，然后使用Adam算法來(lái)減少差距，以此訓(xùn)練Attention機(jī)制的參數(shù)；

Step3、選擇詞性概率分布中概率最大的詞性作為輸出；

Step4、在對(duì)老撾句子詞性標(biāo)注時(shí)，Attention機(jī)制循環(huán)Step1，Step3，對(duì)老撾句子中的每一個(gè)詞進(jìn)行處理，就可以得到該老撾句子的詞性。