[發(fā)明專利]一種基于語料領(lǐng)域的語料處理系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201910009322.5
• 申請(qǐng)日: 2019-01-04
• 公開（公告）號(hào): CN109871533B
• 公開（公告）日: 2019-12-10
• 發(fā)明（設(shè)計(jì)）人: 孔洋洋;陳飛宇;朱勁松
• 申請(qǐng)（專利權(quán)）人: 北京車慧科技有限公司
• 主分類號(hào): G06F17/27
• 分類號(hào): G06F17/27;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 11393 北京市維詩律師事務(wù)所
• 代理人: 李翔;楊安進(jìn)

本申請(qǐng)公開了一種基于語料領(lǐng)域的語料處理系統(tǒng)。該系統(tǒng)包括：第一訓(xùn)練模塊，用于根據(jù)開放領(lǐng)域語料訓(xùn)練第一編碼模型，根據(jù)目標(biāo)領(lǐng)域參考語料訓(xùn)練第二編碼模型；向量模塊，用于將目標(biāo)領(lǐng)域語料輸入所述第一編碼模型得到第一向量，將目標(biāo)領(lǐng)域語料輸入所述第二編碼模型得到第二向量，將目標(biāo)領(lǐng)域語料輸入第三模型得到第三向量；第二訓(xùn)練模塊，用于根據(jù)所述第一向量、所述第二向量以及所述第三向量訓(xùn)練語料處理模型。本申請(qǐng)的提供的技術(shù)方案，由于利用了開放領(lǐng)域的先驗(yàn)知識(shí)，減少了標(biāo)簽數(shù)據(jù)使用量，使得不僅效果得到顯著提升，而且訓(xùn)練時(shí)間也大大縮短。

技術(shù)領(lǐng)域

本申請(qǐng)涉及語料處理領(lǐng)域，尤其涉及一種基于語料領(lǐng)域的語料處理系統(tǒng)。

背景技術(shù)

用戶生成內(nèi)容是目前自然語言處理的重要對(duì)象之一，通過對(duì)大量用戶生成內(nèi)容進(jìn)行數(shù)據(jù)挖掘，可以發(fā)現(xiàn)用戶生成內(nèi)容所反映出的信息，從而可以對(duì)用戶生成內(nèi)容進(jìn)行分類。例如，現(xiàn)有技術(shù)中，針對(duì)汽車領(lǐng)域的情感分析主要是通過用戶在發(fā)布用戶生成內(nèi)容的時(shí)候，強(qiáng)制其針對(duì)汽車的各個(gè)方面進(jìn)行評(píng)價(jià)，從而達(dá)到分類的目的。根據(jù)用戶的評(píng)價(jià)，可以通過機(jī)器學(xué)習(xí)的方式進(jìn)一步分析用戶具體評(píng)論的情感傾向，如是積極態(tài)度還是消極態(tài)度。

盡管現(xiàn)有技術(shù)中的技術(shù)方案在某些特定領(lǐng)域的應(yīng)用能夠起到不錯(cuò)的效果，并得到了廣泛使用，但是仍然存在一些缺點(diǎn)。首先，強(qiáng)制用戶針對(duì)汽車的各個(gè)方面進(jìn)行評(píng)價(jià)，阻礙了一部分用戶主動(dòng)發(fā)布用戶生成內(nèi)容，因而損失了大量數(shù)據(jù)。其次，如果是用戶自身分類錯(cuò)誤，則得到的結(jié)果錯(cuò)誤。而且，目前的方案分類粒度較大，不夠細(xì)致。

此外，基于機(jī)器學(xué)習(xí)的方式實(shí)現(xiàn)起來比較耗時(shí)耗力，需要大量的標(biāo)注數(shù)據(jù)和復(fù)雜特征提取過程，對(duì)于深度學(xué)習(xí)的方式，雖然不需要特征提取，但還是需要大量的標(biāo)注數(shù)據(jù)訓(xùn)練模型，需要花費(fèi)巨大的人力、財(cái)力和物力。

發(fā)明內(nèi)容

有鑒于此，本申請(qǐng)?zhí)岢隽艘环N基于語料領(lǐng)域的語料處理系統(tǒng)，以減少標(biāo)簽的數(shù)量，提高用戶生成內(nèi)容處理的效率。

根據(jù)本申請(qǐng)的一個(gè)方面，提出了一種基于語料領(lǐng)域的語料處理系統(tǒng)，該系統(tǒng)包括：

第一訓(xùn)練模塊，用于根據(jù)開放領(lǐng)域語料訓(xùn)練第一編碼模型，根據(jù)目標(biāo)領(lǐng)域參考語料訓(xùn)練第二編碼模型；

向量模塊，用于將目標(biāo)領(lǐng)域語料輸入所述第一編碼模型得到第一向量，將目標(biāo)領(lǐng)域語料輸入所述第二編碼模型得到第二向量，將目標(biāo)領(lǐng)域語料輸入第三模型得到第三向量；

第二訓(xùn)練模塊，用于根據(jù)所述第一向量、所述第二向量以及所述第三向量訓(xùn)練語料處理模型。

優(yōu)選地，所述第一編碼模型為基于BiLSTM模型的自動(dòng)編碼器；和/或所述第二編碼模型為基于BiLSTM模型的自動(dòng)編碼器；和/或第三模型為BiLSTM模型。

優(yōu)選地，所述開放領(lǐng)域語料不包括汽車領(lǐng)域語料，和/或目標(biāo)領(lǐng)域參考語料包括汽車領(lǐng)域新聞?wù)Z料以及目標(biāo)領(lǐng)域語料為汽車領(lǐng)域語料。

優(yōu)選地，所述開放領(lǐng)域語料為開放領(lǐng)域?qū)嶓w語料，所述目標(biāo)領(lǐng)域語料為汽車領(lǐng)域?qū)嶓w語料；所述語料處理模型為評(píng)價(jià)對(duì)象抽取模型。

優(yōu)選地，所述評(píng)價(jià)對(duì)象抽取模型包括CRF模型。

優(yōu)選地，所述開放領(lǐng)域語料為開放領(lǐng)域情感分析語料，所述目標(biāo)領(lǐng)域語料為汽車領(lǐng)域情感分析語料；所述語料處理模型為情感傾向分析模型。

優(yōu)選地，所述情感傾向分析模型包括SoftMax模型。

優(yōu)選地，所述開放領(lǐng)域語料為去除標(biāo)簽后的開放領(lǐng)域語料。

優(yōu)選地，所述第二訓(xùn)練模塊，還用于在訓(xùn)練所述語料處理模型的過程中，凍結(jié)所述第一向量和所述第二向量，并優(yōu)化所述第三向量。

優(yōu)選地，該系統(tǒng)還包括：

預(yù)處理模塊，用于將待評(píng)論語句進(jìn)行預(yù)處理；