[發(fā)明專利]文本特征提取方法、文本分類方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201610044782.8
• 申請(qǐng)日: 2016-01-22
• 公開(kāi)（公告）號(hào): CN106997339A
• 公開(kāi)（公告）日: 2017-08-01
• 發(fā)明（設(shè)計(jì)）人: 王雄威
• 申請(qǐng)（專利權(quán)）人: 阿里巴巴集團(tuán)控股有限公司
• 主分類號(hào): G06F17/27
• 分類號(hào): G06F17/27;G06F17/30
• 代理公司: 北京同達(dá)信恒知識(shí)產(chǎn)權(quán)代理有限公司11291
• 代理人: 黃志華

技術(shù)領(lǐng)域

本申請(qǐng)涉及互聯(lián)網(wǎng)數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種文本特征提取、文本分類方法及裝置。

背景技術(shù)

隨著微博、社交網(wǎng)站和即時(shí)通訊工具等應(yīng)用的發(fā)展，越來(lái)越多的信息開(kāi)始以短文本的形式呈現(xiàn)，并且呈爆炸式增長(zhǎng)，尤其是大型電子商務(wù)的服務(wù)中心接收到的咨詢。為了高效地處理海量的短文本信息，通常需要先對(duì)短文本信息進(jìn)行自動(dòng)分類，而后再按照類別對(duì)短文本信息進(jìn)行相應(yīng)的處理，而文本特征提取則是文本分類的重要基礎(chǔ)。

現(xiàn)有的文本特征提取方法大多通過(guò)對(duì)文本使用分詞算法進(jìn)行分詞處理后得到文本特征。常見(jiàn)的分詞算法是基于詞典匹配的算法。詞典是基于詞典的匹配算法所必須的數(shù)據(jù)。

現(xiàn)有技術(shù)中，詞典生成都必須依靠人工篩選和分詞器切分，這就使得當(dāng)面對(duì)新的業(yè)務(wù)，微博的評(píng)論或商品的評(píng)論等比較自由的短文本的時(shí)候，由于會(huì)出現(xiàn)未在已有的分詞器使用的詞典中登錄的新詞語(yǔ)，因此，分詞器就無(wú)法切分出正確的詞條，分詞效果就不好。若想取得較好的分詞效果，就要不斷的更新或優(yōu)化詞典和優(yōu)化分詞算法，而且不同的業(yè)務(wù)就要更新或優(yōu)化不同的詞典。

例如，針對(duì)下表(1)中所示的客戶問(wèn)題，如果是由比較常規(guī)的分詞器，不知道“支付寶”以及“余額寶”是一個(gè)產(chǎn)品，則將在分詞時(shí)，會(huì)把“支付”和“寶”分開(kāi)，以及“余額”和“寶”分開(kāi)，進(jìn)而把“支付”和“寶”以及“余額”和“寶”作為獨(dú)立的特征去參與分類，此時(shí)表達(dá)的意思就會(huì)有問(wèn)題。此外，針對(duì)新的網(wǎng)絡(luò)用語(yǔ)“萌妹紙”、“冷暖男”；分詞器分出的特征為“萌妹”和“紙”，以及“冷”“暖男”，顯然，分詞后表達(dá)的意思也是錯(cuò)誤的。

用戶問(wèn)題 不好的特征 支付寶付不了款怎么辦 支付|寶|付不了款|怎么辦 余額寶查不到收益怎么辦 余額|寶|查不到|收益|怎么辦 充電寶沒(méi)有收到貨怎么辦 充電|寶|沒(méi)有|收到貨|怎么辦 你這個(gè)萌妹紙 你|這個(gè)|萌妹|紙 淘寶你們就是冷暖男 淘寶|你們|就是|冷|暖男

表(1)

綜上所述，現(xiàn)有的文本特征提取方法存在過(guò)于依賴已有分詞器，無(wú)法提取未登錄的詞條等文本特征。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例提供一種文本特征提取、文本分類方法及裝置，用以解決方法存在過(guò)于依賴已有分詞器，無(wú)法提取未登錄的詞條等文本特征的問(wèn)題。

一種文本特征提取方法，包括：

確定待提取文本特征的第一文本，以及至少一個(gè)用于提取文本特征的第一滑動(dòng)窗口和相應(yīng)的滑動(dòng)步長(zhǎng)；

針對(duì)每一第一滑動(dòng)窗口，從設(shè)定的初始滑動(dòng)位置開(kāi)始，沿著構(gòu)成所述第一文本的字符的排列路徑，以該第一滑動(dòng)窗口相應(yīng)的滑動(dòng)步長(zhǎng)滑動(dòng)該第一滑動(dòng)窗口，并提取滑動(dòng)過(guò)程中該第一滑動(dòng)窗口內(nèi)的字符串，直至滑過(guò)構(gòu)成所述第一文本的各字符；

將提取的字符串作為所述第一文本的文本特征輸出。

一種文本分類方法，包括：