[發明專利]詞向量處理方法、裝置以及電子設備

在審

• 申請號: 201710583773.0
• 申請日: 2017-07-18
• 公開（公告）號: CN107562716A
• 公開（公告）日: 2018-01-09
• 發明（設計）人: 曹紹升;周俊
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F17/27
• 分類號: G06F17/27;G06K9/62
• 代理公司: 北京晉德允升知識產權代理有限公司11623
• 代理人: 周莉娜

技術領域

本說明書涉及計算機軟件技術領域，尤其涉及詞向量處理方法、裝置以及電子設備。

背景技術

如今的自然語言處理的解決方案，大都采用基于神經網絡的架構，而在這種架構下一個重要的基礎技術就是詞向量。詞向量是將詞映射到一個固定維度的向量，該向量表征了該詞的語義信息。

在現有技術中，常見的用于生成詞向量的算法是專門針對英文設計的。比如，谷歌公司的單詞向量算法、微軟公司的深度神經網絡算法等。

基于現有技術，需要一種針對阿拉伯文、馬來語、印尼語的詞向量生成方案。

發明內容

本說明書實施例提供詞向量處理方法、裝置以及電子設備，用以解決如下技術問題：需要一種針對阿拉伯文、馬來語、印尼語的詞向量生成方案。

為解決上述技術問題，本說明書實施例是這樣實現的：

本說明書實施例提供的一種詞向量處理方法，包括：

對語料分詞得到各詞；

確定所述各詞對應的各n元字符，所述n元字符表征由其對應的詞的連續n個字母映射得到的字符串；

建立并初始化所述各詞的詞向量，以及所述各詞對應的各n元字符的字符向量；

根據所述詞向量、所述字符向量，以及分詞后的所述語料，對所述詞向量和所述字符向量進行訓練；

其中，所述詞為阿拉伯文詞，或者為馬來語的詞，或者為印尼語的詞。

本說明書實施例提供的一種詞向量處理裝置，包括：

分詞模塊，對語料分詞得到各詞；

確定模塊，確定所述各詞對應的各n元字符，所述n元字符表征由其對應的詞的連續n個字母映射得到的字符串；

初始化模塊，建立并初始化所述各詞的詞向量，以及所述各詞對應的各n元字符的字符向量；

訓練模塊，根據所述詞向量、所述字符向量，以及分詞后的所述語料，對所述詞向量和所述字符向量進行訓練；

其中，所述詞為阿拉伯文詞，或者為馬來語的詞，或者為印尼語的詞。

本說明書實施例提供的另一種詞向量處理方法，包括：

步驟1，對語料分詞，并建立通過所述分詞得到的各詞構成的詞匯表，其中，所述各詞不包括在所述語料中出現次數少于設定次數的詞；跳轉步驟2；

步驟2，根據所述詞匯表，建立n元字符映射表，所述映射表包含所述各詞與n元字符之間的映射關系，所述n元字符表征由其映射的詞的連續n個字母映射得到的字符串；跳轉步驟3；

步驟3，根據所述n元字符映射表，建立并初始化所述各詞的詞向量，以及所述各詞映射的各n元字符的字符向量；跳轉步驟4；

步驟4，遍歷分詞后的所述語料，分別將遍歷到的詞作為當前詞w并對當前詞w執行步驟5，若遍歷完成則結束，否則繼續遍歷；

步驟5，以當前詞w為中心，向兩側分別滑動至多k個詞建立窗口，遍歷所述窗口中除當前詞w以外的所有詞，分別將遍歷到的詞作為當前詞w的當前上下文詞c并對當前上下文詞c執行步驟6，若遍歷完成則繼續步驟4的執行，否則繼續遍歷；

步驟6，按照如下公式計算當前詞w與當前上下文詞c的相似度：

其中，S(w)表示所述n元字符映射表中當前詞w映射的至少部分n元字符的集合，q表示S(w)中的各n元字符，sim(w,c)表示當前詞w與當前上下文詞c的相似度；表示q的字符向量，表示w的詞向量，表示c的詞向量，⊙表示針對兩個向量的特定運算，所述特定運算為點積運算、或者夾角余弦運算、或者歐式距離運算；β₁、β₂為權重參數；跳轉步驟7；

步驟7，隨機抽取λ個詞作為負樣例詞，按照如下損失函數計算對應的損失表征值l(w,c)：

其中，c’是隨機抽取的負樣例詞，而E_c'∈p(V)[x]是指隨機抽取的負樣例詞c’滿足概率分布p(V)的情況下，表達式x的期望值，σ(·)是神經網絡激勵函數，定義為

根據計算出的損失表征值l(w,c)計算所述損失函數對應的梯度，根據所述梯度，對q的字符向量和當前上下文詞c的詞向量進行更新。

本說明書實施例提供的一種電子設備，包括：

至少一個處理器；以及，

與所述至少一個處理器通信連接的存儲器；其中，

所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠：

對語料分詞得到各詞；