[發(fā)明專利]一種數(shù)據(jù)增強(qiáng)方法、裝置、設(shè)備及介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011035411.6
• 申請(qǐng)日: 2020-09-27
• 公開（公告）號(hào): CN112183074A
• 公開（公告）日: 2021-01-05
• 發(fā)明（設(shè)計(jì)）人: 李虎;陸登強(qiáng);周洋
• 申請(qǐng)（專利權(quán)）人: 中國建設(shè)銀行股份有限公司
• 主分類號(hào): G06F40/247
• 分類號(hào): G06F40/247;G06F16/35
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

本發(fā)明實(shí)施例公開了一種數(shù)據(jù)增強(qiáng)方法、裝置、設(shè)備及介質(zhì)。其中，數(shù)據(jù)增強(qiáng)方法，包括：從原始文本中獲取設(shè)定數(shù)量的待替換詞；根據(jù)預(yù)先建立的測(cè)試集詞表，確定各所述待替換詞的目標(biāo)近義詞，所述測(cè)試集詞表中包含測(cè)試集中的至少一個(gè)詞語；通過所述目標(biāo)近義詞，替換所述待替換詞，得到增強(qiáng)文本。本發(fā)明實(shí)施例的技術(shù)方案，解決了現(xiàn)有技術(shù)中選取同義詞時(shí)備選的詞庫對(duì)應(yīng)于全詞典的詞庫，沒有針對(duì)性的問題，通過結(jié)合測(cè)試集數(shù)據(jù)，使得到的增強(qiáng)文本與測(cè)試文本具有一定的相關(guān)性，提高了數(shù)據(jù)增強(qiáng)質(zhì)量。

技術(shù)領(lǐng)域

本發(fā)明實(shí)施例涉及計(jì)算機(jī)技術(shù)，尤其涉及一種數(shù)據(jù)增強(qiáng)方法、裝置、設(shè)備及介質(zhì)。

背景技術(shù)

情感分類是自然語言處理(Natural Language Processing，NLP)的一個(gè)重要研究方向，情感分類是指根據(jù)文本所表達(dá)的含義和情感信息將文本劃分成兩種或多種類型，其中，情感分類模型的訓(xùn)練需要大量的訓(xùn)練語句，當(dāng)訓(xùn)練語句不足時(shí)，經(jīng)常需要進(jìn)行數(shù)據(jù)增強(qiáng)。

現(xiàn)有的NLP數(shù)據(jù)增強(qiáng)技術(shù)包括隨機(jī)插入、隨機(jī)刪除、隨機(jī)交換、同義詞替換和回譯等。其中，隨機(jī)插入、隨機(jī)刪除和隨機(jī)交換方法存在的一個(gè)共同問題是會(huì)改變?cè)嘉谋镜恼Z義，因此這些方法不適于在處理情感分類問題時(shí)進(jìn)行數(shù)據(jù)增強(qiáng)；另外，同義詞替換和回譯方法雖然能更好的保留原始文本的語義，但是選取同義詞時(shí)備選的詞庫是對(duì)應(yīng)于全詞典的詞庫，沒有針對(duì)性，影響情感分類模型分類的準(zhǔn)確性。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供一種數(shù)據(jù)增強(qiáng)方法、裝置、設(shè)備及介質(zhì)，通過結(jié)合測(cè)試集數(shù)據(jù)，使得到的增強(qiáng)文本與測(cè)試文本具有一定的相關(guān)性，提高了數(shù)據(jù)增強(qiáng)質(zhì)量。

第一方面，本發(fā)明實(shí)施例提供了一種數(shù)據(jù)增強(qiáng)方法，所述方法包括：

從原始文本中獲取設(shè)定數(shù)量的待替換詞；

根據(jù)預(yù)先建立的測(cè)試集詞表，確定各所述待替換詞的目標(biāo)近義詞，所述測(cè)試集詞表中包含測(cè)試集中的至少一個(gè)詞語；

通過所述目標(biāo)近義詞，替換所述待替換詞，得到增強(qiáng)文本。

第二方面，本發(fā)明實(shí)施例還提供了一種數(shù)據(jù)增強(qiáng)裝置，所述裝置包括：

待替換詞獲取模塊，用于從原始文本中獲取設(shè)定數(shù)量的待替換詞；

目標(biāo)近義詞確定模塊，用于根據(jù)預(yù)先建立的測(cè)試集詞表，確定各所述待替換詞的目標(biāo)近義詞，所述測(cè)試集詞表中包含測(cè)試集中的至少一個(gè)詞語；

增強(qiáng)文本獲取模塊，用于通過所述目標(biāo)近義詞，替換所述待替換詞，得到增強(qiáng)文本。

第三方面，本發(fā)明實(shí)施例還提供了一種電子設(shè)備，包括：

一個(gè)或多個(gè)處理器；

存儲(chǔ)器，用于存儲(chǔ)一個(gè)或多個(gè)程序；

當(dāng)所述一個(gè)或多個(gè)程序被所述一個(gè)或多個(gè)處理器執(zhí)行，使得所述一個(gè)或多個(gè)處理器實(shí)現(xiàn)本發(fā)明任意實(shí)施例提供的數(shù)據(jù)增強(qiáng)方法。

第四方面，本發(fā)明實(shí)施例還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)本發(fā)明任意實(shí)施例提供的數(shù)據(jù)增強(qiáng)方法。

本發(fā)明實(shí)施例的技術(shù)方案，首先從原始文本中獲取設(shè)定數(shù)量的待替換詞，然后根據(jù)預(yù)先建立的測(cè)試集詞表，確定各待替換詞的目標(biāo)近義詞，最終通過目標(biāo)近義詞，替換待替換詞，得到增強(qiáng)文本，解決了現(xiàn)有技術(shù)中選取同義詞時(shí)備選的詞庫對(duì)應(yīng)于全詞典的詞庫，沒有針對(duì)性，影響情感分類模型分類的準(zhǔn)確性的問題，通過結(jié)合測(cè)試集數(shù)據(jù)分布，使得到的增強(qiáng)文本與測(cè)試文本具有一定的相關(guān)性，提高了數(shù)據(jù)增強(qiáng)質(zhì)量。

附圖說明

圖1是本發(fā)明實(shí)施例一中的一種數(shù)據(jù)增強(qiáng)方法的流程圖；

圖2是本發(fā)明實(shí)施例二中的一種數(shù)據(jù)增強(qiáng)方法的流程圖；