[發(fā)明專(zhuān)利]一種文本檢測(cè)的方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202010654027.8
• 申請(qǐng)日: 2020-07-08
• 公開(kāi)（公告）號(hào): CN111930939A
• 公開(kāi)（公告）日: 2020-11-13
• 發(fā)明（設(shè)計(jì)）人: 陳利琴;閆永澤;劉設(shè)偉
• 申請(qǐng)（專(zhuān)利權(quán)）人: 泰康保險(xiǎn)集團(tuán)股份有限公司;泰康在線財(cái)產(chǎn)保險(xiǎn)股份有限公司
• 主分類(lèi)號(hào): G06F16/35
• 分類(lèi)號(hào): G06F16/35;G06F40/30;G06N3/04;G06N3/08
• 代理公司: 北京潤(rùn)澤恒知識(shí)產(chǎn)權(quán)代理有限公司 11319
• 代理人: 莎日娜

本發(fā)明實(shí)施例提供了一種文本檢測(cè)的方法及裝置，其中，所述的方法包括：獲取訓(xùn)練樣本，所述訓(xùn)練樣本包括第一訓(xùn)練樣本和第二訓(xùn)練樣本；采用所述第一訓(xùn)練樣本對(duì)預(yù)設(shè)第一初始模型進(jìn)行訓(xùn)練，生成第一層分類(lèi)模型；采用所述第二訓(xùn)練樣本對(duì)預(yù)設(shè)第二初始模型進(jìn)行訓(xùn)練，生成第二層分類(lèi)模型；組合所述第一層分類(lèi)模型和所述第二層分類(lèi)模型得到文本檢測(cè)模型，以采用所述文本檢測(cè)模型檢測(cè)待檢測(cè)文本的合規(guī)性。從而通過(guò)對(duì)訓(xùn)練樣本進(jìn)行區(qū)分，采用不同的訓(xùn)練樣本分層訓(xùn)練得到兩個(gè)分類(lèi)模型，組合這兩個(gè)分類(lèi)模型得到文本檢測(cè)模型，使得可以采用文本檢測(cè)模型對(duì)待檢測(cè)文本進(jìn)行分層檢測(cè)，確定待檢測(cè)文本的合規(guī)性，提高了文本合規(guī)性檢查的準(zhǔn)確性。

技術(shù)領(lǐng)域

本發(fā)明涉及人工智能技術(shù)領(lǐng)域，特別是涉及一種文本檢測(cè)的方法，以及一種文本檢測(cè)的裝置。

背景技術(shù)

文本檢測(cè)是自然語(yǔ)言處理技術(shù)領(lǐng)域中的一項(xiàng)重要任務(wù)，它的目標(biāo)是將文檔指定一個(gè)被預(yù)先定義好的類(lèi)別。現(xiàn)有技術(shù)在處理NLP(Natural Language Processing，自然語(yǔ)言處理)項(xiàng)目時(shí)經(jīng)常會(huì)出現(xiàn)樣本不均衡的現(xiàn)象，直接使用不均衡樣本訓(xùn)練出來(lái)的模型會(huì)使檢測(cè)結(jié)果傾向于樣本數(shù)據(jù)較多的類(lèi)別，普遍的解決方式是在數(shù)據(jù)層面采用過(guò)采樣小樣本、欠采用大樣本，這些方法可能會(huì)將一些有用數(shù)據(jù)丟失，或增強(qiáng)了一些噪音樣，且容易造成過(guò)擬合；在檢測(cè)模型層面采用優(yōu)化算法或者目標(biāo)函數(shù)的方法，但這種方法不夠簡(jiǎn)單、效果提升不顯著。

目前，文本合規(guī)性檢測(cè)方法主要是一個(gè)基于規(guī)則匹配或者以傳統(tǒng)的深度學(xué)習(xí)技術(shù)為主的文本檢測(cè)方法，針對(duì)特定的文本制定特定的規(guī)則或訓(xùn)練一個(gè)檢測(cè)模型，從而判斷文本是否符合規(guī)范。然而，在規(guī)則匹配時(shí)利用傳統(tǒng)的詞向量化方法提取的詞向量缺乏一定的語(yǔ)義信息，沒(méi)有考慮文本的語(yǔ)義信息，其泛化能力較低；同時(shí)，現(xiàn)有訓(xùn)練模型的方式一般是將數(shù)據(jù)混合一起訓(xùn)練模型，沒(méi)有考慮數(shù)據(jù)的特性，對(duì)于不均衡樣本或者具有一定特性的樣本，使得訓(xùn)練生成的模型很難將困難樣本區(qū)分開(kāi)。

發(fā)明內(nèi)容

鑒于上述問(wèn)題，提出了本發(fā)明實(shí)施例以便提供一種克服上述問(wèn)題或者至少部分地解決上述問(wèn)題的一種文本檢測(cè)的方法和相應(yīng)的一種文本檢測(cè)的裝置。

本發(fā)明實(shí)施例公開(kāi)了一種文本檢測(cè)的方法，所述方法包括：

獲取訓(xùn)練樣本，所述訓(xùn)練樣本包括第一訓(xùn)練樣本和第二訓(xùn)練樣本；

采用所述第一訓(xùn)練樣本對(duì)預(yù)設(shè)第一初始模型進(jìn)行訓(xùn)練，生成第一層分類(lèi)模型；

采用所述第二訓(xùn)練樣本對(duì)預(yù)設(shè)第二初始模型進(jìn)行訓(xùn)練，生成第二層分類(lèi)模型；

組合所述第一層分類(lèi)模型和所述第二層分類(lèi)模型得到文本檢測(cè)模型，以采用所述文本檢測(cè)模型檢測(cè)待檢測(cè)文本的合規(guī)性。

可選地，所述預(yù)設(shè)第一初始模型包含BERT結(jié)構(gòu)層，長(zhǎng)短時(shí)記憶模型層，最大池化層，線性層和第一分類(lèi)層，所述采用所述第一訓(xùn)練樣本對(duì)預(yù)設(shè)第一初始模型進(jìn)行訓(xùn)練，生成第一層分類(lèi)模型，包括：

采用所述第一訓(xùn)練樣本訓(xùn)練所述BERT結(jié)構(gòu)層，長(zhǎng)短時(shí)記憶模型層，最大池化層，線性層和第一分類(lèi)層，生成第一層分類(lèi)模型。

可選地，所述第一分類(lèi)層包含sigmoid激活函數(shù)，所述BERT結(jié)構(gòu)層，長(zhǎng)短時(shí)記憶模型層，最大池化層，線性層和第一分類(lèi)層分別具有不同的學(xué)習(xí)率。

可選地，所述預(yù)設(shè)第二初始模型包含BERT結(jié)構(gòu)層，長(zhǎng)短時(shí)記憶模型層，最大池化層，線性層和第二分類(lèi)層，所述采用所述第二訓(xùn)練樣本對(duì)預(yù)設(shè)第二初始模型進(jìn)行訓(xùn)練，生成第二層分類(lèi)模型，包括：

采用所述第二訓(xùn)練樣本訓(xùn)練所述BERT結(jié)構(gòu)層，長(zhǎng)短時(shí)記憶模型層，最大池化層，線性層和第二分類(lèi)層，生成第二層分類(lèi)模型。

可選地，所述第二分類(lèi)層包含softmax激活函數(shù)，所述BERT結(jié)構(gòu)層，長(zhǎng)短時(shí)記憶模型層，最大池化層，線性層和第二分類(lèi)層分別具有不同的學(xué)習(xí)率。

可選地，所述的方法還包括：