[發明專利]一種詞向量生成、數據處理方法和裝置在審
| 申請號： | 201710476725.1 | 申請日： | 2017-06-21 |
| 公開（公告）號： | CN109101476A | 公開（公告）日： | 2018-12-28 |
| 發明（設計）人： | 謝世鵬 | 申請（專利權）人： | 阿里巴巴集團控股有限公司 |
| 主分類號： | G06F17/27 | 分類號： | G06F17/27;G06N3/08 |
| 代理公司： | 北京潤澤恒知識產權代理有限公司 11319 | 代理人： | 蘇培華 |
| 地址： | 英屬開曼群島大開*** | 國省代碼： | 開曼群島;KY |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 詞向量 語義 全局 方法和裝置 訓練過程 語義環境 文本 迭代更新 迭代訓練 局部語義 數據處理 數據系統 學習過程 語義變量 魯棒性 解析 抽取 關聯 學習 更新 引入 創建 申請 保證 | ||
1.一種詞向量生成方法，其特征在于，包括：
從數據系統抽取文本，解析所述文本獲得多個詞；
為各個詞創建初始詞向量；
生成表征所述文本中所有詞構成的全文語義環境的全文詞向量；
按照各個詞的詞向量與所述全文詞向量以及其他詞的詞向量之間的關聯，對所述詞的詞向量進行迭代更新。
2.根據權利要求1所述的方法，其特征在于，所述數據系統包括交易系統，所述從數據系統抽取文本包括：
調用數據抓取工具從交易系統抓取網絡對象文本，所述網絡對象文本包括針對網絡對象的描述文本和評價文本。
3.根據權利要求1所述的方法，其特征在于，在所述解析所述文本獲得多個詞之前，所述方法還包括：
去除所述文本中的預設符號和停頓詞。
4.根據權利要求3所述的方法，其特征在于，所述方法還包括：
確定所述文本所屬語言種類；
查找針對所確定的語言種類設置的停頓詞。
5.根據權利要求1所述的方法，其特征在于，在所述解析所述文本獲得多個詞之前，所述方法還包括：
按照所述文本所屬語言種類選取對應的文本分割工具。
6.根據權利要求1所述的方法，其特征在于，所述生成表征所述文本中所有詞構成的語義環境的全文詞向量包括：
統計所有詞的初始詞向量的加和，以加和結果作為表征所述文本中所有詞構成的語義環境的全文詞向量。
7.根據權利要求1所述的方法，其特征在于，所述按照各個詞的詞向量與所述全文詞向量以及其他詞的詞向量之間的關聯，對所述詞的詞向量進行迭代更新包括：
針對各個詞，根據所述全文詞向量和其他詞的詞向量，以及所述詞的詞向量與所述全文詞向量以及其他詞的詞向量之間的關聯，推算所述詞的詞向量，并在多輪迭代更新后，得到各個詞的詞向量。
8.根據權利要求7所述的方法，其特征在于，所述根據所述全文詞向量和其他詞的詞向量，以及所述詞的詞向量與所述全文詞向量以及其他詞的詞向量之間的關聯，推算所述詞的詞向量包括：
根據所述全文詞向量和其他詞的詞向量，以及所述詞的詞向量與所述全文詞向量和其他詞的詞向量之間的關聯，推算所述詞在各個分類維度下的分類結果，以所有分類結果的標識的集合為所述詞的詞向量。
9.根據權利要求1所述的方法，其特征在于，所述按照各個詞的詞向量與所述全文詞向量以及其他詞的詞向量之間的關聯，對所述詞的詞向量進行迭代更新包括：
針對各個詞，根據所述詞的詞向量，以及所述詞的詞向量與所述全文詞向量以及其他詞的詞向量之間的關聯，推算全文詞向量和其他詞的詞向量，并在多輪迭代更新后，得到各個詞的詞向量。
10.根據權利要求9所述的方法，其特征在于，所述根據所述詞的詞向量，以及所述詞的詞向量與所述全文詞向量以及其他詞的詞向量之間的關聯，推算全文詞向量和其他詞的詞向量包括：
根據所述全文詞向量和其他詞的詞向量，以及所述詞的詞向量與所述全文詞向量和其他詞的詞向量之間的關聯，推算全文信息或其他詞在各個分類維度下的分類結果，以所有分類結果的標識的集合為所述全文詞向量或其他詞的詞向量。
11.根據權利要求1所述的方法，其特征在于，所述按照各個詞的詞向量與所述全文詞向量以及其他詞的詞向量之間的關聯，對所述詞的詞向量進行迭代更新包括：
在每個詞向量更新后，統計所有詞的詞向量的加和，以加和結果更新所述全文詞向量。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于阿里巴巴集團控股有限公司，未經阿里巴巴集團控股有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201710476725.1/1.html，轉載請聲明來源鉆瓜專利網。
