[發(fā)明專利]在線序列標(biāo)注模型的訓(xùn)練方法、在線標(biāo)注方法及相關(guān)設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 202011052029.6
• 申請(qǐng)日: 2020-09-29
• 公開(kāi)（公告）號(hào): CN112182157B
• 公開(kāi)（公告）日: 2023-09-22
• 發(fā)明（設(shè)計(jì)）人: 張濤;黃少波;曾增烽
• 申請(qǐng)（專利權(quán)）人: 中國(guó)平安人壽保險(xiǎn)股份有限公司
• 主分類號(hào): G06F16/33
• 分類號(hào): G06F16/33;G06F40/295;G06F18/214
• 代理公司: 深圳市世聯(lián)合知識(shí)產(chǎn)權(quán)代理有限公司 44385
• 代理人: 汪琳琳

本申請(qǐng)屬于人工智能領(lǐng)域，涉及在線序列標(biāo)注模型的訓(xùn)練方法及相關(guān)設(shè)備，所述方法包括:根據(jù)預(yù)先標(biāo)記的數(shù)據(jù)量不大于第一閾值的第一數(shù)據(jù)集對(duì)預(yù)設(shè)的序列標(biāo)注模型進(jìn)行離線訓(xùn)練，得到離線標(biāo)注模型；從至少一個(gè)數(shù)據(jù)源中獲取未標(biāo)記的數(shù)據(jù)輸入至離線標(biāo)注模型中進(jìn)行離線標(biāo)注得到第二數(shù)據(jù)集，第二數(shù)據(jù)集的數(shù)據(jù)量大于第一數(shù)據(jù)集的數(shù)據(jù)量，且不低于第二閾值；將第二數(shù)據(jù)集中的數(shù)據(jù)輸入CRF++工具中進(jìn)行模型訓(xùn)練，得到在線序列標(biāo)注模型。本申請(qǐng)還提供在線文本標(biāo)注方法及相關(guān)設(shè)備。此外，本申請(qǐng)還涉及區(qū)塊鏈技術(shù)，第一數(shù)據(jù)集和第二數(shù)據(jù)集中包含的隱私數(shù)據(jù)可存儲(chǔ)于區(qū)塊鏈中。本申請(qǐng)方案可得到高效且高精確度的在線序列標(biāo)注模型，給在線文本的處理帶來(lái)很大的效率提升。

技術(shù)領(lǐng)域

本申請(qǐng)涉及人工智能技術(shù)領(lǐng)域，尤其涉及基于CRF++工具的在線序列標(biāo)注模型的訓(xùn)練方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)，此外，還涉及一種在線標(biāo)注方法、系統(tǒng)及相關(guān)設(shè)備。

背景技術(shù)

隨著計(jì)算機(jī)硬件水平的不斷提升，在大數(shù)據(jù)、大算力的條件下，基于深度學(xué)習(xí)的自然語(yǔ)言處理相關(guān)技術(shù)取得了很大的進(jìn)步，比如BERT預(yù)訓(xùn)練模型技術(shù)。在常規(guī)的分詞與命名實(shí)體識(shí)別任務(wù)當(dāng)中，通常的模型框架為引入BERT預(yù)訓(xùn)練模型，再引入Bi-LSTM解決文本的長(zhǎng)依賴問(wèn)題，最后接CRF層進(jìn)行標(biāo)簽預(yù)測(cè)，以取得最優(yōu)的預(yù)測(cè)結(jié)果。

但在實(shí)際應(yīng)用場(chǎng)景當(dāng)中，往往要求預(yù)測(cè)更準(zhǔn)且更快，即要求高并發(fā)、低延時(shí)的算法處理能力，前述通常的模型框架在處理速度僅能達(dá)到秒級(jí)，無(wú)法支撐處理速度達(dá)到毫秒級(jí)的線上場(chǎng)景，如何獲得可以實(shí)現(xiàn)線上場(chǎng)景的文本的準(zhǔn)確快速標(biāo)注的模型成為亟待解決的問(wèn)題。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例的目的在于提出一種基于CRF++工具的在線序列標(biāo)注模型的訓(xùn)練方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)，以解決現(xiàn)有技術(shù)中通常的模型框架在處理速度僅能達(dá)到秒級(jí)，無(wú)法支撐處理速度達(dá)到毫秒級(jí)的線上場(chǎng)景的問(wèn)題。此外，本申請(qǐng)實(shí)施例還提出一種在線標(biāo)注方法、系統(tǒng)及相關(guān)設(shè)備。

為了解決上述技術(shù)問(wèn)題，本申請(qǐng)實(shí)施例提供一種基于CRF++工具的在線序列標(biāo)注模型的訓(xùn)練方法，采用了如下所述的技術(shù)方案：

一種基于CRF++工具的在線序列標(biāo)注模型的訓(xùn)練方法，包括下述步驟：

獲取預(yù)先標(biāo)記的第一數(shù)據(jù)集，根據(jù)所述第一數(shù)據(jù)集對(duì)預(yù)設(shè)的序列標(biāo)注模型進(jìn)行離線訓(xùn)練，得到模型輸出結(jié)果滿足預(yù)設(shè)要求的離線標(biāo)注模型，其中所述第一數(shù)據(jù)集的數(shù)據(jù)量不大于預(yù)先設(shè)定的第一閾值；

從至少一個(gè)數(shù)據(jù)源中獲取未標(biāo)記的數(shù)據(jù)，將所述未標(biāo)記的數(shù)據(jù)輸入至所述離線標(biāo)注模型中，以對(duì)所述未標(biāo)記的數(shù)據(jù)進(jìn)行離線標(biāo)注，得到第二數(shù)據(jù)集，其中所述第二數(shù)據(jù)集的數(shù)據(jù)量大于所述第一數(shù)據(jù)集的數(shù)據(jù)量，且所述第二數(shù)據(jù)集的數(shù)據(jù)量不低于預(yù)先設(shè)定的第二閾值；

將所述第二數(shù)據(jù)集中的標(biāo)記數(shù)據(jù)輸入至CRF++工具中進(jìn)行模型訓(xùn)練，得到標(biāo)注速度大于所述離線標(biāo)注模型的標(biāo)注速度的在線序列標(biāo)注模型。

為了解決上述技術(shù)問(wèn)題，本申請(qǐng)實(shí)施例還提供一種基于CRF++工具的在線序列標(biāo)注模型的訓(xùn)練裝置，采用了如下所述的技術(shù)方案：

第一模型訓(xùn)練模塊，用于獲取預(yù)先標(biāo)記的第一數(shù)據(jù)集，根據(jù)所述第一數(shù)據(jù)集對(duì)預(yù)設(shè)的序列標(biāo)注模型進(jìn)行離線訓(xùn)練，得到模型輸出結(jié)果滿足預(yù)設(shè)要求的離線標(biāo)注模型，其中所述第一數(shù)據(jù)集的數(shù)據(jù)量不大于預(yù)先設(shè)定的第一閾值；

離線標(biāo)注模塊，用于從至少一個(gè)數(shù)據(jù)源中獲取未標(biāo)記的數(shù)據(jù)，將所述未標(biāo)記的數(shù)據(jù)輸入至所述離線標(biāo)注模型中，以對(duì)所述未標(biāo)記的數(shù)據(jù)進(jìn)行離線標(biāo)注，得到第二數(shù)據(jù)集，其中所述第二數(shù)據(jù)集的數(shù)據(jù)量大于所述第一數(shù)據(jù)集的數(shù)據(jù)量，且所述第二數(shù)據(jù)集的數(shù)據(jù)量不低于預(yù)先設(shè)定的第二閾值；

第二模型訓(xùn)練模塊，用于將所述第二數(shù)據(jù)集中的標(biāo)記數(shù)據(jù)輸入至CRF++工具中進(jìn)行模型訓(xùn)練，得到標(biāo)注速度大于所述離線標(biāo)注模型的標(biāo)注速度的在線序列標(biāo)注模型。

為了解決上述技術(shù)問(wèn)題，本申請(qǐng)實(shí)施例還提供一種在線文本標(biāo)注方法，包括下述步驟：