[發明專利]一種文本的向量化方法以及裝置

在審

• 申請號: 201710134611.9
• 申請日: 2017-03-08
• 公開（公告）號: CN108572961A
• 公開（公告）日: 2018-09-25
• 發明（設計）人: 劉家兵;劉永波;吳春龍;張少松
• 申請（專利權）人: 北京嘀嘀無限科技發展有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京友聯知識產權代理事務所(普通合伙) 11343
• 代理人: 尚志峰;汪海屏

1.一種文本的向量化方法，其特征在于，所述方法包括：

獲取待處理的文本，并確定所述文本的應用類型，得到所述文本的樣本；

提取所述樣本的所有單字符元素，得到所述樣本的單字符集合；

根據所述樣本的應用類型提取所述樣本的雙字符元素，得到所述樣本的雙字符集合；

將所述單字符集合和所述雙字符集合進行合并，得到詞表；

根據所述詞表構建得到所述文本的文本向量。

2.根據權利要求1所述的文本的向量化方法，其特征在于，所述提取所述樣本的所有單字符元素之后，所述方法還包括：

分別統計所述樣本中每一單字符元素所對應的出現頻度；

分別去除所述樣本中出現頻度最大的單字符元素和所述樣本中出現頻度最小的單字符元素，從而得到所述樣本的單字符集合。

3.根據權利要求1所述的文本的向量化方法，其特征在于，所述根據所述樣本的應用類型提取所述樣本的雙字符元素，得到所述樣本的雙字符集合，包括：

在所述應用類型為二元分類的情況下，定義所述樣本中雙字符數量較少的類別為正樣本；

提取所述正樣本中所有的雙字符元素，得到所述樣本的雙字符集合。

4.根據權利要求3所述的文本的向量化方法，其特征在于，所述提取所述正樣本中所有的雙字符元素之后，所述方法還包括：

分別統計每一雙字符元素所對應的出現頻度；

分別去除所述正樣本中出現頻度最大的雙字符元素和所述正樣本中出現頻度最小的雙字符元素，從而得到所述樣本的雙字符集合。

5.根據權利要求1所述的文本的向量化方法，其特征在于，所述根據所述樣本的應用類型提取所述樣本的雙字符元素，得到所述樣本的雙字符集合，還包括：

在所述應用類型為多元分類的情況下，分別提取所述樣本中每個類別的所有雙字符元素，得到所述樣本的雙字符集合。

6.根據權利要求5所述的文本的向量化方法，其特征在于，所述分別提取所述樣本中每個類別的所有雙字符元素之后，所述方法還包括：

分別統計所述樣本中每個類別的每一雙字符元素所對應的出現頻度；

分別去除所述樣本每個類別中出現頻度最大的雙字符元素和出現頻度最小的雙字符元素，從而得到所述樣本的每個類別的雙字符集合；

將所述樣本的每個類別的雙字符集合進行合并，從而得到所述樣本的雙字符集合。

7.根據權利要求1所述的文本的向量化方法，其特征在于，所述根據所述樣本的應用類型提取所述樣本的雙字符元素，得到所述樣本的雙字符集合，還包括：

在所述應用類型為文本聚類的情況下，提取所述樣本中所有的雙字符元素，得到所述樣本的雙字符集合。

8.根據權利要求7所述的文本的向量化方法，其特征在于，所述提取所述樣本中所有的雙字符元素之后，所述方法還包括：

分別統計每一雙字符元素所對應的出現頻度；

分別去除所述樣本中出現頻度最大的雙字符元素和所述樣本中出現頻度最小的雙字符元素，從而得到所述樣本的雙字符集合。

9.一種文本的向量化裝置，其特征在于，所述裝置包括：

獲取單元，用于獲取用戶設備中的文本，并確定所述文本的應用類型，得到所述文本的樣本；

第一提取單元，用于提取所述樣本的所有單字符元素，得到所述樣本的單字符集合；

第二提取單元，用于根據所述樣本的應用類型提取所述樣本的雙字符元素，得到所述樣本的雙字符集合；

合并單元，用于將所述單字符集合和所述雙字符集合進行合并，得到詞表；

構建單元，用于根據所述詞表構建得到所述文本的文本向量。