[發(fā)明專利]一種詞性標(biāo)注系統(tǒng)、方法和裝置

在審

• 申請?zhí)枺?/td>: 201910553562.1
• 申請日: 2019-06-25
• 公開（公告）號: CN112215009A
• 公開（公告）日: 2021-01-12
• 發(fā)明（設(shè)計(jì)）人: 張鵬
• 申請（專利權(quán)）人: 普天信息技術(shù)有限公司
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06F40/284;G06F40/211;G06F16/35
• 代理公司: 北京德琦知識(shí)產(chǎn)權(quán)代理有限公司 11018
• 代理人: 張馳;宋志強(qiáng)

1.一種詞性標(biāo)注系統(tǒng)，其特征在于，包括：

預(yù)訓(xùn)練模型，用于對輸入單詞執(zhí)行向量嵌入處理以獲取所述輸入單詞的向量表示，基于自注意力機(jī)制從所述輸入單詞的向量表示中提取句法特征向量，并基于自注意力機(jī)制從所述句法特征向量中提取語義特征向量；

第一線性層，用于對所述語義特征向量執(zhí)行降維，以獲取降維后的向量；

Softmax分類器，用于對所述降維后的向量執(zhí)行概率規(guī)劃計(jì)算，以獲取輸入單詞的類別概率分布。

2.根據(jù)權(quán)利要求1所述的詞性標(biāo)注系統(tǒng)，其特征在于，

所述預(yù)訓(xùn)練模型是對訓(xùn)練后的給定詞預(yù)測模型執(zhí)行改造的模型，其中所述給定詞預(yù)測模型包括：向量嵌入層、第一注意力層、第二注意力層、第三注意力層和第二線性層；所述給定詞預(yù)測模型的訓(xùn)練任務(wù)是基于無標(biāo)注的、給定詞的上下文詞匯預(yù)測所述給定詞；其中：

向量嵌入層，用于對給定詞的上下文詞匯執(zhí)行向量嵌入處理以獲取所述上下文詞匯的向量表示；

第一注意力層，用于基于自注意力機(jī)制從上下文詞匯的向量表示中提取句法特征向量；

第二注意力層，用于基于自注意力機(jī)制從所述句法特征向量中提取語義特征向量；

包含一個(gè)神經(jīng)元的第三注意力層，用于將第二注意力層輸出的語義特征向量加權(quán)，以得到綜合輸出向量；

包含一個(gè)神經(jīng)元的第二線性層，用于對第三注意力層輸出的所述綜合輸出向量執(zhí)行降維；

其中所述改造包括：去除第三注意力層和所述第二線性層。

3.根據(jù)權(quán)利要求2所述的詞性標(biāo)注系統(tǒng)，其特征在于，

所述詞性標(biāo)注系統(tǒng)的損失函數(shù)為L，其中：

L＝-(p log q+(1-p)log(1-q))；

其中p表示正確樣本的類別概率分布；q代表預(yù)測樣本的類別概率分布。

4.一種詞性標(biāo)注方法，其特征在于，包括：

使能預(yù)訓(xùn)練模型對輸入單詞執(zhí)行向量嵌入處理以獲取所述輸入單詞的向量表示，基于自注意力機(jī)制從所述輸入單詞的向量表示中提取句法特征向量，并基于自注意力機(jī)制從所述句法特征向量中提取語義特征向量；

使能第一線性層對所述語義特征向量執(zhí)行降維，以得到降維后的向量；

使能Softmax分類器對所述降維后的向量執(zhí)行概率規(guī)劃計(jì)算，以獲取輸入單詞的類別概率分布。

5.根據(jù)權(quán)利要求4所述的詞性標(biāo)注方法，其特征在于，該方法預(yù)先包括：

對給定詞預(yù)測模型執(zhí)行訓(xùn)練，其中所述給定詞預(yù)測模型包括：向量嵌入層、第一注意力層、第二注意力層、第三注意力層和第二線性層；訓(xùn)練任務(wù)是基于無標(biāo)注的、給定詞的上下文詞匯預(yù)測所述給定詞；所述訓(xùn)練過程包括：使能向量嵌入層對給定詞的上下文詞匯執(zhí)行向量嵌入處理以獲取所述上下文詞匯的向量表示；使能第一注意力層基于自注意力機(jī)制從上下文詞匯的向量表示中提取句法特征向量；使能第二注意力層基于自注意力機(jī)制從所述句法特征向量中提取語義特征向量；使能包含一個(gè)神經(jīng)元的第三注意力層將第二注意力層輸出的語義特征向量加權(quán)，以得到綜合輸出向量；使能包含一個(gè)神經(jīng)元的第二線性層對第三注意力層輸出的綜合輸出向量執(zhí)行降維；

對訓(xùn)練后的給定詞預(yù)測模型執(zhí)行改造以生成所述預(yù)訓(xùn)練模型，其中所述改造包括：去除所述第三注意力層和所述第二線性層。

6.根據(jù)權(quán)利要求5所述的詞性標(biāo)注方法，其特征在于，

所述詞性標(biāo)注方法的損失函數(shù)為L，其中：

L＝-(p log q+(1-p)log(1-q))；

其中p表示正確樣本的類別概率分布；q代表預(yù)測樣本的類別概率分布。

7.一種詞性標(biāo)注裝置，其特征在于，包括處理器和存儲(chǔ)器；

所述存儲(chǔ)器中存儲(chǔ)有可被所述處理器執(zhí)行的應(yīng)用程序，用于使得所述處理器執(zhí)行如權(quán)利要求4-6中任一項(xiàng)所述的詞性標(biāo)注方法。

8.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，其中存儲(chǔ)有計(jì)算機(jī)可讀指令，該計(jì)算機(jī)可讀指令用于執(zhí)行如權(quán)利要求4-6中任一項(xiàng)所述的詞性標(biāo)注方法。