[發(fā)明專利]基于人工智能的文本分類方法、裝置、電子設(shè)備及介質(zhì)

在審

• 申請?zhí)枺?/td>: 202111093400.8
• 申請日: 2021-09-17
• 公開（公告）號(hào): CN113792146A
• 公開（公告）日: 2021-12-14
• 發(fā)明（設(shè)計(jì)）人: 孫金輝;馬駿;王少軍
• 申請（專利權(quán)）人: 平安科技（深圳）有限公司
• 主分類號(hào): G06F16/35
• 分類號(hào): G06F16/35;G06N3/02;G06N3/08
• 代理公司: 深圳市賽恩倍吉知識(shí)產(chǎn)權(quán)代理有限公司 44334
• 代理人: 鐘良;陳實(shí)順

本發(fā)明涉及人工智能技術(shù)領(lǐng)域，提供一種基于人工智能的文本分類方法、裝置、電子設(shè)備及介質(zhì)，所述方法包括：構(gòu)建搜索空間；采用預(yù)設(shè)的搜索策略隨機(jī)選取目標(biāo)文本增強(qiáng)策略；使用目標(biāo)文本增強(qiáng)策略對原始文本集進(jìn)行文本增強(qiáng)得到第一增強(qiáng)文本集；根據(jù)原始文本集和第一增強(qiáng)文本集計(jì)算驗(yàn)證通過率；并確定目標(biāo)文本分類模型和最優(yōu)文本增強(qiáng)策略；采用最優(yōu)文本增強(qiáng)策略對待分類文本集進(jìn)行文本增強(qiáng)得到第三增強(qiáng)文本集，將第三增強(qiáng)文本集和待分類文本集輸入至目標(biāo)文本分類模型中，得到文本分類結(jié)果。本發(fā)明通過構(gòu)建搜索空間及采用預(yù)設(shè)的搜索策略，為每個(gè)數(shù)據(jù)集定制化搜索出最優(yōu)文本增強(qiáng)策略，提高了文本分類的準(zhǔn)確率。

技術(shù)領(lǐng)域

本發(fā)明涉及人工智能技術(shù)領(lǐng)域，具體涉及一種基于人工智能的文本分類方法、裝置、電子設(shè)備及介質(zhì)。

背景技術(shù)

文本分類任務(wù)是自然語言處理中最重要的任務(wù)之一。目前，深度學(xué)習(xí)模型已經(jīng)廣泛應(yīng)用于文本分類任務(wù)中，比如CNN、RNN等模型，通過對大量文本進(jìn)行標(biāo)注后進(jìn)行文本增強(qiáng)。

然而，現(xiàn)有技術(shù)標(biāo)注文本需要消耗大量的人力和時(shí)間，同時(shí)在進(jìn)行文本增強(qiáng)時(shí)需要人工設(shè)置一些超參數(shù)，超參數(shù)是通過人工經(jīng)驗(yàn)和大量的對比實(shí)驗(yàn)后得到的，在文本增強(qiáng)時(shí)無法快速精確的找到最優(yōu)文本增強(qiáng)策略，導(dǎo)致文本分類結(jié)果準(zhǔn)確率和效率低下。

因此，有必要提出一種可以精確的進(jìn)行文本分類的方法。

發(fā)明內(nèi)容

鑒于以上內(nèi)容，有必要提出一種基于人工智能的文本分類方法、裝置、電子設(shè)備及介質(zhì)，通過構(gòu)建搜索空間及采用預(yù)設(shè)的搜索策略，為每個(gè)數(shù)據(jù)集定制化搜索出最優(yōu)文本增強(qiáng)策略，提高了文本分類的準(zhǔn)確率。

本發(fā)明的第一方面提供一種基于人工智能的文本分類方法，所述方法包括：

解析接收到的文本分類請求，構(gòu)建一個(gè)搜索空間，其中，所述搜索空間中包含有多個(gè)文本增強(qiáng)策略；

采用預(yù)設(shè)的搜索策略從所述搜索空間中隨機(jī)選取一個(gè)文本增強(qiáng)策略，作為目標(biāo)文本增強(qiáng)策略，其中，所述預(yù)設(shè)的搜索策略中包含有一個(gè)控制器；

使用所述目標(biāo)文本增強(qiáng)策略對文本分類請求中原始文本集中的每個(gè)文本進(jìn)行文本增強(qiáng)，得到第一增強(qiáng)文本集；

將所述原始文本集和所述第一增強(qiáng)文本集輸入至預(yù)設(shè)的神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，得到第一文本分類模型；

將所述文本分類請求中的驗(yàn)證集輸入至所述第一文本分類模型中進(jìn)行驗(yàn)證，并計(jì)算驗(yàn)證通過率；

根據(jù)所述驗(yàn)證通過率確定所述文本分類請求對應(yīng)的目標(biāo)文本分類模型和最優(yōu)文本增強(qiáng)策略；

采用所述最優(yōu)文本增強(qiáng)策略對所述文本分類請求中的待分類文本集進(jìn)行文本增強(qiáng)，得到第三增強(qiáng)文本集，將所述第三增強(qiáng)文本集和所述待分類文本集輸入至所述目標(biāo)文本分類模型中，得到文本分類結(jié)果。

可選地，所述解析接收到的文本分類請求，構(gòu)建一個(gè)搜索空間包括：

解析接收到的文本分類請求，獲取四類超參數(shù)：類別標(biāo)簽、操作類型、應(yīng)用類型的概率值及每個(gè)文本中應(yīng)用操作的詞的比例；

對所述四類超參數(shù)進(jìn)行組合運(yùn)算，得到多個(gè)文本增強(qiáng)策略，其中，每個(gè)所述文本增強(qiáng)策略由所述四類超參數(shù)組成；

基于所述多個(gè)文本增強(qiáng)策略構(gòu)建一個(gè)搜索空間。

可選地，所述操作類型包括以下一種或者多種方式的組合：同義詞替換、隨機(jī)插入、隨機(jī)交換、隨機(jī)刪除。

可選地，所述采用預(yù)設(shè)的搜索策略從所述搜索空間中隨機(jī)選取一個(gè)文本增強(qiáng)策略，作為目標(biāo)文本增強(qiáng)策略包括：

將所述多個(gè)文本增強(qiáng)策略輸入至所述預(yù)設(shè)的搜索策略的控制器中，所述控制器從所述多個(gè)文本增強(qiáng)策略中隨機(jī)選取任意一類超參數(shù)中的一個(gè)超參數(shù)作為所述控制器當(dāng)前時(shí)間步的輸入?yún)?shù)，將所述當(dāng)前時(shí)間步的輸入?yún)?shù)輸入至所述控制器中，輸出當(dāng)前時(shí)間步的輸出值；