[發明專利]一種文本的向量化方法以及裝置

在審

• 申請號: 201710134611.9
• 申請日: 2017-03-08
• 公開（公告）號: CN108572961A
• 公開（公告）日: 2018-09-25
• 發明（設計）人: 劉家兵;劉永波;吳春龍;張少松
• 申請（專利權）人: 北京嘀嘀無限科技發展有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京友聯知識產權代理事務所(普通合伙) 11343
• 代理人: 尚志峰;汪海屏

本發明公開一種文本的向量化方法以及裝置，涉及文本向量化領域。其中，所述方法包括：獲取待處理的文本，并確定所述文本的應用類型，得到所述文本的樣本；提取所述樣本的所有單字符元素，得到所述樣本的單字符集合；根據所述樣本的應用類型提取所述樣本的雙字符元素，得到所述樣本的雙字符集合；將所述單字符集合和所述雙字符集合進行合并，得到詞表；根據所述詞表構建得到所述文本的文本向量。本發明去除了中文切詞，避免了切詞針對輿情等口語化句子引入的誤差及其后續的誤差級聯效應，并且對輿情等口語化句子的錯別字具有較好的容錯能力。

技術領域

本發明涉及文本向量化領域，具體地，涉及一種文本的向量化方法以及裝置。

背景技術

對于各種機器學習算法來說，它們的輸入是向量，輸出可以是連續的值或者離散的值。文本分類或聚類是機器學習領域的一個非常重要的應用，文本向量化則是進行文本分類或聚類的第一步，它直接決定機器學習最終結果的好壞。

現有的文本向量化技術如下：

TF-IDF(term frequency–inverse document frequency，詞頻-逆文檔頻率)是一種用于信息檢索與數據挖掘的常用加權技術。句子向量的維度是詞表的個數，每個維度的值是對應詞表的詞通過TF-IDF方法計算出來的權重。TF是指某個詞在單個句子中出現的次數，由于句子長度不一，需要進行標準化處理；IDF是指逆文檔頻率，計算公式為log(語料庫句子總數/(包含該詞的句子數+1))；最終句子維度對應的TF-IDF值為TF*IDF。

Word2Vec主要使用的技術方法有Continuous Bag-of-Word Model(CBOW)和Continuous Skip-gram Model。CBOW的原理是根據上下文來預測當前詞語的概率，而Skip-gram則是通過當前詞語來預測上下文的概率，它們的核心都是神經網絡算法，得到的詞向量維度較低(100-400比較理想)，詞相似度可以很方便通過向量夾角進行計算。但是，我們很難從詞向量得到表征句子語義的向量，所以出現了Doc2Vec，可以直接把句子轉化為向量。Doc2Vec方法除了額外增加一個句子向量外，與Word2Vec沒太大區別。

然而，現有技術存在如下問題：

1、現有技術基本都是基于中文切詞，中文切詞在書面形式的句子的應用上效果還行，但是處理像輿情這類的口語化句子的效果不佳，會引入相當一部分誤差。由于級聯效應的存在，會對最終機器學習的結果產生很大程度的影響。此外，依賴于中文切詞，對輿情等口語化句子的容錯能力較差。

2、TF-IDF類型的文本向量化方法最終產生的向量維度較高，從幾萬到幾十萬不等，導致資源消耗較大，并且訓練過程較長。如果進行降維處理，就會丟失部分信息。Word2Vec或Doc2Vec雖然最終的向量維度不高，但是需要強大的語料集來支持，訓練耗時耗資源。

3、TF-IDF的向量化方案都是有損語義的，即句子和向量是多對一的關系，而這些句子是對應不同種類的，無法進行語義還原。Word2Vec或Doc2Vec基于統計，相似的句子結構就會有相似的向量，無法進行語義還原。

發明內容

針對現有技術的缺陷，本發明提供一種文本的向量化方法，通過去除中文切詞，避免了切詞針對輿情等口語化句子引入的誤差及其后續的誤差級聯效應，并且對輿情等口語化句子的錯別字具有較好的容錯能力。

依據本發明的第一方面，提出了一種文本的向量化方法，所述方法包括：

獲取待處理的文本，并確定所述文本的應用類型，得到所述文本的樣本；

提取所述樣本的所有單字符元素，得到所述樣本的單字符集合；

根據所述樣本的應用類型提取所述樣本的雙字符元素，得到所述樣本的雙字符集合；