[發(fā)明專利]基于評論數(shù)據(jù)的文本分類方法及裝置、設(shè)備和介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010207346.4
• 申請日: 2020-03-23
• 公開（公告）號: CN111753082A
• 公開（公告）日: 2020-10-09
• 發(fā)明（設(shè)計(jì)）人: 徐路;羅壯;何云龍
• 申請（專利權(quán)）人: 北京沃東天駿信息技術(shù)有限公司;北京京東世紀(jì)貿(mào)易有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/289;G06F40/211;G06F40/30
• 代理公司: 北京律智知識產(chǎn)權(quán)代理有限公司 11438
• 代理人: 王輝;闞梓瑄

本公開是關(guān)于一種基于評論數(shù)據(jù)的文本分類方法及裝置、設(shè)備以及介質(zhì)，涉及自然語言處理技術(shù)領(lǐng)域，可以應(yīng)用于對文本數(shù)據(jù)進(jìn)行分類的場景。該基于評論數(shù)據(jù)的文本分類方法包括：獲取評論數(shù)據(jù)，對評論數(shù)據(jù)進(jìn)行文本預(yù)處理，以生成待處理分詞數(shù)據(jù)；對待處理分詞數(shù)據(jù)進(jìn)行詞向量化處理，以生成對應(yīng)的詞向量表示數(shù)據(jù)；將詞向量表示數(shù)據(jù)輸入至目標(biāo)語言表示模型，以生成對應(yīng)的句子向量表示數(shù)據(jù)；將句子向量表示數(shù)據(jù)分別輸入至第一分類模型和第二分類模型，由第一分類模型確定評論數(shù)據(jù)是否屬于問題文本數(shù)據(jù)，以及由第二分類模型確定評論數(shù)據(jù)對應(yīng)的問題類型分類。本公開可以通過對評論數(shù)據(jù)的信息挖掘，篩選出有質(zhì)量問題的評論文本以及質(zhì)量問題的具體分類。

技術(shù)領(lǐng)域

本公開涉及自然語言處理技術(shù)領(lǐng)域，具體而言，涉及一種基于評論數(shù)據(jù)的文本分類方法、基于評論數(shù)據(jù)的文本分類裝置、電子設(shè)備以及計(jì)算機(jī)可讀存儲介質(zhì)。

背景技術(shù)

隨著互聯(lián)網(wǎng)的發(fā)展，越來越多的人通過電商網(wǎng)站來購物，通過分析挖掘用戶購物評價(jià)，可以得到各項(xiàng)商品的特性。進(jìn)而通過挖掘每一項(xiàng)商品的特性，有目標(biāo)的來改進(jìn)商品。例如，通過分析生鮮類產(chǎn)品的用戶評論，可以挖掘出生鮮產(chǎn)品的質(zhì)量問題占比以及質(zhì)量問題的根源，通過挖掘質(zhì)量問題的根源，制定改進(jìn)商品的處理策略，以降低商品中有質(zhì)量問題的比例。

基于這樣的背景，如何基于商品評論文本類型數(shù)據(jù)進(jìn)行質(zhì)量問題分類以及質(zhì)量問題挖掘就成為了研究的熱點(diǎn)。對評論數(shù)據(jù)分類的核心是篩選出有質(zhì)量數(shù)據(jù)，在對評論數(shù)據(jù)進(jìn)行分類時(shí)，通常采用關(guān)鍵詞匹配和基于詞表征(Word Embedding)的文本分類模型等方法。

然而，關(guān)鍵詞匹配的缺點(diǎn)是過于簡單，無法挖掘到更為深入的語義信息，無法基于關(guān)鍵詞匹配來對文本的質(zhì)量問題類型進(jìn)行挖掘；另外，基于Word Embedding的文本分類模型的缺點(diǎn)是需要大量有標(biāo)注的數(shù)據(jù)來訓(xùn)練分類模型，而現(xiàn)階段，標(biāo)注成本過高，該方法耗費(fèi)過大。

需要說明的是，在上述背景技術(shù)部分公開的信息僅用于加強(qiáng)對本公開的背景的理解，因此可以包括不構(gòu)成對本領(lǐng)域普通技術(shù)人員已知的現(xiàn)有技術(shù)的信息。

發(fā)明內(nèi)容

本公開的目的在于提供一種基于評論數(shù)據(jù)的文本分類方法、基于評論數(shù)據(jù)的文本分類裝置、電子設(shè)備以及計(jì)算機(jī)可讀存儲介質(zhì)，進(jìn)而至少在一定程度上克服采用關(guān)鍵詞匹配的方法無法對評論文本的質(zhì)量問題進(jìn)行挖掘以及采用基于Word Embedding的文本分類模型導(dǎo)致標(biāo)注成本過高，耗費(fèi)過大的問題。

本公開的其他特性和優(yōu)點(diǎn)將通過下面的詳細(xì)描述變得顯然，或部分地通過本發(fā)明的實(shí)踐而習(xí)得。

根據(jù)本公開的第一方面，提供一種基于評論數(shù)據(jù)的文本分類方法，包括：獲取評論數(shù)據(jù)，并對評論數(shù)據(jù)進(jìn)行文本預(yù)處理，以生成待處理分詞數(shù)據(jù)；對待處理分詞數(shù)據(jù)進(jìn)行詞向量化處理，以生成對應(yīng)的詞向量表示數(shù)據(jù)；將詞向量表示數(shù)據(jù)輸入至目標(biāo)語言表示模型，以生成對應(yīng)的句子向量表示數(shù)據(jù)；將句子向量表示數(shù)據(jù)輸入至第一分類模型，由第一分類模型確定評論數(shù)據(jù)是否屬于問題文本數(shù)據(jù)；以及將句子向量表示數(shù)據(jù)輸入至第二分類模型，由第二分類模型確定評論數(shù)據(jù)對應(yīng)的問題類型分類。

可選的，對評論數(shù)據(jù)進(jìn)行文本預(yù)處理，以生成待處理分詞數(shù)據(jù)，包括：對評論數(shù)據(jù)進(jìn)行正則匹配處理，以生成正則文本數(shù)據(jù)；對正則文本數(shù)據(jù)進(jìn)行分詞切分處理，以生成字項(xiàng)分詞數(shù)據(jù)；對字項(xiàng)分詞數(shù)據(jù)進(jìn)行詞語修正處理，以生成待處理分詞數(shù)據(jù)。

可選的，對字項(xiàng)分詞數(shù)據(jù)進(jìn)行詞語修正處理，包括：獲取停用詞參考表，并根據(jù)停用詞參考表刪除字項(xiàng)分詞數(shù)據(jù)中的停用詞；以及確定字項(xiàng)分詞數(shù)據(jù)中待修改詞語，并對待修改詞語進(jìn)行替換處理。

可選的，對待處理分詞數(shù)據(jù)進(jìn)行詞向量化處理，以生成對應(yīng)的詞向量表示數(shù)據(jù)，包括：獲取分詞詞匯表，并構(gòu)建分詞詞匯表對應(yīng)的向量空間；根據(jù)向量空間對待處理分詞數(shù)據(jù)進(jìn)行詞向量化處理，以得到評論數(shù)據(jù)的詞向量表示數(shù)據(jù)。