[發(fā)明專利]序列標(biāo)注方法、裝置、存儲(chǔ)介質(zhì)及計(jì)算機(jī)設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202010123296.1
• 申請(qǐng)日: 2020-02-27
• 公開(kāi)（公告）號(hào): CN111353295A
• 公開(kāi)（公告）日: 2020-06-30
• 發(fā)明（設(shè)計(jì)）人: 周玥;胡盼盼;佟博;趙茜;張超;黃仲?gòu)?qiáng);張堅(jiān)琳;廖鳳玲
• 申請(qǐng)（專利權(quán)）人: 廣東博智林機(jī)器人有限公司
• 主分類號(hào): G06F40/253
• 分類號(hào): G06F40/253;G06F40/279
• 代理公司: 北京清亦華知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 王艷斌

1.一種序列標(biāo)注方法，其特征在于，所述序列包括待標(biāo)注詞和已標(biāo)注詞，所述序列用于生成文本，所述方法包括：

獲取序列；

識(shí)別所述序列中待標(biāo)注詞的上下文信息；

根據(jù)所述上下文信息，結(jié)合與所述待標(biāo)注詞相鄰的已標(biāo)注詞的第一詞性確定所述待標(biāo)注詞的第二詞性，所述第二詞性用于標(biāo)注所述待標(biāo)注詞。

2.如權(quán)利要求1所述的序列標(biāo)注方法，其特征在于，所述識(shí)別所述序列中待標(biāo)注詞的上下文信息，包括：

采用基于雙流自注意力機(jī)制排序XLNet模型識(shí)別所述序列中待標(biāo)注詞的上下文信息。

3.如權(quán)利要求2所述的序列標(biāo)注方法，其特征在于，所述根據(jù)所述上下文信息，結(jié)合與所述待標(biāo)注詞相鄰的已標(biāo)注詞的第一詞性確定所述待標(biāo)注詞的第二詞性，包括：

根據(jù)所述上下文信息，結(jié)合所述第一詞性和隨機(jī)條件場(chǎng)CRF模型確定所述待標(biāo)注詞的第二詞性。

4.如權(quán)利要求2所述的序列標(biāo)注方法，其特征在于，所述采用基于雙流自注意力機(jī)制排序XLNet模型識(shí)別待標(biāo)注詞的上下文信息，包括：

獲取所述序列的詞嵌入向量；

采用所述詞嵌入向量，初始化所述XLNet模型的隱狀態(tài)的內(nèi)容流的第零層處理邏輯，并將所述XLNet模型的隱狀態(tài)的查詢流初始化為變量；

采用初始化所得到的XLNet模型識(shí)別待標(biāo)注詞的上下文信息。

5.如權(quán)利要求4所述的序列標(biāo)注方法，其特征在于，所述初始化所得到的XLNet模型，已學(xué)習(xí)得到樣本的待標(biāo)注詞，和預(yù)先針對(duì)所述樣本的待標(biāo)注詞標(biāo)定的樣本編碼之間的對(duì)應(yīng)關(guān)系，所述采用初始化所得到的XLNet模型識(shí)別待標(biāo)注詞的上下文信息，包括：

將所述文本作為所述初始化所得到的XLNet模型的輸入，從而采用所述初始化所得到的XLNet模型確定所述文本對(duì)應(yīng)的編碼；

根據(jù)所述文本對(duì)應(yīng)的編碼，結(jié)合所述待標(biāo)注詞對(duì)應(yīng)的編碼識(shí)別所述待標(biāo)注詞的上下文信息。

6.如權(quán)利要求4所述的序列標(biāo)注方法，其特征在于，所述初始化所得到的XLNet模型包括：隱狀態(tài)的內(nèi)容流和隱狀態(tài)的查詢流，所述采用初始化所得到的XLNet模型識(shí)別待標(biāo)注詞的上下文信息，包括：

通過(guò)所述隱狀態(tài)的內(nèi)容流確定更新后的序列中所述已標(biāo)注詞的上下文信息和所述待標(biāo)注詞的實(shí)際內(nèi)容；所述更新后的序列，為對(duì)初始的序列中的各詞的實(shí)際位置進(jìn)行相應(yīng)的調(diào)整所得到的，所述初始的序列為所獲取的序列；

通過(guò)所述隱狀態(tài)的查詢流確定所述待標(biāo)注詞在所述初始的序列的實(shí)際位置和上文信息；

根據(jù)所述已標(biāo)注詞的上下文信息和所述待標(biāo)注詞的實(shí)際內(nèi)容，以及所述待標(biāo)注詞在所述初始的序列的實(shí)際位置和上文信息，確定待標(biāo)注詞的下文信息；

將所述待標(biāo)注詞的上文信息和所述下文信息共同作為所述上下文信息。

7.如權(quán)利要求2所述的序列標(biāo)注方法，其特征在于，所述初始化所得到的XLNet模型包括：全連接層，所述根據(jù)所述上下文信息，結(jié)合所述第一詞性和隨機(jī)條件場(chǎng)CRF模型確定所述待標(biāo)注詞的第二詞性，包括：

將所述待標(biāo)注詞的上下文信息輸入所述全連接層；

將所述全連接層輸出的結(jié)果，結(jié)合所述第一詞性和所述CRF模型確定所述待標(biāo)注詞對(duì)應(yīng)的多個(gè)候選詞性的概率分布情況；

根據(jù)所述多個(gè)候選詞性的概率分布情況確定所述待標(biāo)注詞的第二詞性。

8.一種序列標(biāo)注裝置，其特征在于，所述序列包括待標(biāo)注詞和已標(biāo)注詞，所述序列用于生成文本，所述裝置包括：

獲取模塊，用于獲取序列；

識(shí)別模塊，用于識(shí)別所述序列中待標(biāo)注詞的上下文信息；

標(biāo)注模塊，用于根據(jù)所述上下文信息，結(jié)合與所述待標(biāo)注詞相鄰的已標(biāo)注詞的第一詞性確定所述待標(biāo)注詞的第二詞性，所述第二詞性用于標(biāo)注所述待標(biāo)注詞。

9.如權(quán)利要求8所述的序列標(biāo)注裝置，其特征在于，所述識(shí)別模塊，具體用于：

采用基于雙流自注意力機(jī)制排序XLNet模型識(shí)別所述序列中待標(biāo)注詞的上下文信息。