[發(fā)明專利]建立分類模型的方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202210191386.3
• 申請(qǐng)日: 2022-03-01
• 公開（公告）號(hào): CN114328936B
• 公開（公告）日: 2022-08-30
• 發(fā)明（設(shè)計(jì)）人: 林昊
• 申請(qǐng)（專利權(quán)）人: 支付寶（杭州）信息技術(shù)有限公司
• 主分類號(hào): G06F16/35
• 分類號(hào): G06F16/35;G06F40/242;G06F40/30
• 代理公司: 濟(jì)南信達(dá)專利事務(wù)所有限公司 37100
• 代理人: 李世喆

本說明書實(shí)施例提供了一種建立分類模型的方法及裝置。其中方法包括：首先獲取待分類數(shù)據(jù)樣本，并獲取所述待分類數(shù)據(jù)樣本對(duì)應(yīng)的分類標(biāo)簽樣本；然后將待分類數(shù)據(jù)樣本及其對(duì)應(yīng)的分類標(biāo)簽樣本作為訓(xùn)練樣本以構(gòu)建訓(xùn)練集和回測(cè)集，所述訓(xùn)練集和所述回測(cè)集均包含多個(gè)訓(xùn)練樣本；利用所述訓(xùn)練集訓(xùn)練分類模型；從所述回測(cè)集中選擇對(duì)訓(xùn)練得到的分類模型產(chǎn)生滿足預(yù)設(shè)要求的效果增益的訓(xùn)練樣本；再獲取對(duì)選擇的訓(xùn)練樣本中的待分類數(shù)據(jù)樣本進(jìn)行人工標(biāo)注之后得到的分類標(biāo)簽樣本，將所選擇的訓(xùn)練樣本中的待分類數(shù)據(jù)樣本及其人工標(biāo)注的分類標(biāo)簽樣本構(gòu)成新的訓(xùn)練樣本加入所述訓(xùn)練集，轉(zhuǎn)至利用所述訓(xùn)練集訓(xùn)練分類模型的步驟，直至達(dá)到預(yù)設(shè)的結(jié)束條件。

技術(shù)領(lǐng)域

本說明書一個(gè)或多個(gè)實(shí)施例涉及人工智能技術(shù)領(lǐng)域，尤其涉及一種建立分類模型的方法及裝置。

背景技術(shù)

隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，我們已經(jīng)步入了人工智能時(shí)代。分類模型作為機(jī)器學(xué)習(xí)中一種重要的模型被廣泛地應(yīng)用于各種場(chǎng)景。眾所周知地，分類模型的效果很大程度取決于高質(zhì)量訓(xùn)練數(shù)據(jù)的獲取。但在一些特殊場(chǎng)景下，獲取建立分類模型的訓(xùn)練數(shù)據(jù)成為難點(diǎn)。例如，基于文本數(shù)據(jù)進(jìn)行事件信息的抽取時(shí)，需要采用分類模型將文本數(shù)據(jù)映射至對(duì)應(yīng)的事件類別上。但這類訓(xùn)練數(shù)據(jù)的獲取是很難的，通常的做法是通過人工標(biāo)注的方式，但為了保證模型效果，采用人工逐一對(duì)大量文本數(shù)據(jù)進(jìn)行標(biāo)注顯然需要高昂的人力和時(shí)間成本。

發(fā)明內(nèi)容

本說明書一個(gè)或多個(gè)實(shí)施例描述了一種建立分類模型的方法及裝置，在保證模型效果的基礎(chǔ)上降低人力和時(shí)間成本。

本申請(qǐng)?zhí)峁┝巳缦路桨福?/p>

根據(jù)第一方面，提供了一種建立分類模型的方法，包括：

獲取待分類數(shù)據(jù)樣本，并獲取所述待分類數(shù)據(jù)樣本對(duì)應(yīng)的分類標(biāo)簽樣本；

將待分類數(shù)據(jù)樣本及其對(duì)應(yīng)的分類標(biāo)簽樣本作為訓(xùn)練樣本以構(gòu)建訓(xùn)練集和回測(cè)集，所述訓(xùn)練集和所述回測(cè)集均包含多個(gè)訓(xùn)練樣本；

利用所述訓(xùn)練集訓(xùn)練分類模型；

從所述回測(cè)集中選擇對(duì)訓(xùn)練得到的分類模型產(chǎn)生滿足預(yù)設(shè)要求的效果增益的訓(xùn)練樣本；

獲取對(duì)所選擇的訓(xùn)練樣本中的待分類數(shù)據(jù)樣本進(jìn)行人工標(biāo)注之后得到的分類標(biāo)簽樣本，將所選擇的訓(xùn)練樣本中的待分類數(shù)據(jù)樣本及其人工標(biāo)注的分類標(biāo)簽樣本構(gòu)成新的訓(xùn)練樣本加入所述訓(xùn)練集，轉(zhuǎn)至利用所述訓(xùn)練集訓(xùn)練分類模型的步驟，直至達(dá)到預(yù)設(shè)的結(jié)束條件。

根據(jù)本申請(qǐng)實(shí)施例中一可實(shí)現(xiàn)的方式，所述獲取所述待分類數(shù)據(jù)樣本對(duì)應(yīng)的分類標(biāo)簽樣本包括：

將所述待分類數(shù)據(jù)樣本與預(yù)設(shè)的詞典或語義表達(dá)模板進(jìn)行匹配；

依據(jù)匹配結(jié)果確定所述待分類數(shù)據(jù)樣本對(duì)應(yīng)的分類標(biāo)簽；

基于確定的分類標(biāo)簽得到所述待分類數(shù)據(jù)樣本對(duì)應(yīng)的分類標(biāo)簽樣本。

根據(jù)本申請(qǐng)實(shí)施例中一可實(shí)現(xiàn)的方式，從所述回測(cè)集中選擇對(duì)訓(xùn)練得到的分類模型產(chǎn)生滿足預(yù)設(shè)要求的效果增益的訓(xùn)練樣本包括：

利用訓(xùn)練得到的分類模型對(duì)所述回測(cè)集中的待分類數(shù)據(jù)樣本進(jìn)行分類，得到對(duì)待分類數(shù)據(jù)樣本的分類結(jié)果；

針對(duì)所述回測(cè)集中的待分類數(shù)據(jù)樣本，基于分類結(jié)果與分類標(biāo)簽樣本的差異，確定該待分類數(shù)據(jù)樣本所在的訓(xùn)練樣本對(duì)所述分類模型的效果增益，從所述回測(cè)集中選擇效果增益滿足預(yù)設(shè)要求的訓(xùn)練樣本。

根據(jù)本申請(qǐng)實(shí)施例中一可實(shí)現(xiàn)的方式，所述針對(duì)所述回測(cè)集中的待分類數(shù)據(jù)樣本，基于分類結(jié)果與分類標(biāo)簽樣本的差異，確定該待分類數(shù)據(jù)樣本所在的訓(xùn)練樣本對(duì)所述分類模型的效果增益，從所述回測(cè)集中選擇效果增益滿足預(yù)設(shè)要求的訓(xùn)練樣本包括：

確定所述回測(cè)集中待分類數(shù)據(jù)樣本的分類標(biāo)簽樣本在分類結(jié)果中的置信度；