[發(fā)明專利]詞向量處理方法、裝置以及電子設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 201710583773.0
• 申請(qǐng)日: 2017-07-18
• 公開（公告）號(hào): CN107562716A
• 公開（公告）日: 2018-01-09
• 發(fā)明（設(shè)計(jì)）人: 曹紹升;周俊
• 申請(qǐng)（專利權(quán)）人: 阿里巴巴集團(tuán)控股有限公司
• 主分類號(hào): G06F17/27
• 分類號(hào): G06F17/27;G06K9/62
• 代理公司: 北京晉德允升知識(shí)產(chǎn)權(quán)代理有限公司11623
• 代理人: 周莉娜

1.一種詞向量處理方法，包括：

對(duì)語料分詞得到各詞；

確定所述各詞對(duì)應(yīng)的各n元字符，所述n元字符表征由其對(duì)應(yīng)的詞的連續(xù)n個(gè)字母映射得到的字符串；

建立并初始化所述各詞的詞向量，以及所述各詞對(duì)應(yīng)的各n元字符的字符向量；

根據(jù)所述詞向量、所述字符向量，以及分詞后的所述語料，對(duì)所述詞向量和所述字符向量進(jìn)行訓(xùn)練；

其中，所述詞為阿拉伯文詞，或者為馬來語的詞，或者為印尼語的詞。

2.如權(quán)利要求1所述的方法，所述確定所述各詞對(duì)應(yīng)的各n元字符，所述n元字符表征由其對(duì)應(yīng)的詞的連續(xù)n個(gè)字母映射得到的字符串，具體包括：

獲取建立的字母字符映射關(guān)系，所述字母字符映射關(guān)系為：所述詞所屬語言的各字母與指定的各字符之間的映射關(guān)系；以及，

確定所述各詞對(duì)應(yīng)的各n元字母，所述n元字母表征其對(duì)應(yīng)的詞的連續(xù)n個(gè)字母；

根據(jù)所述字母字符映射關(guān)系，分別對(duì)所述各n元字母進(jìn)行映射，得到所述各詞對(duì)應(yīng)的各n元字符，所述n元字符表征由其對(duì)應(yīng)的詞的連續(xù)n個(gè)字母映射得到的字符串。

3.如權(quán)利要求2所述的方法，所述詞對(duì)應(yīng)的語言的至少部分字母采用unicode編碼存儲(chǔ)，所述字符為ASCII碼。

4.如權(quán)利要求1所述的方法，所述確定所述各詞對(duì)應(yīng)的各n元字符，具體包括：

根據(jù)對(duì)所述語料分詞的結(jié)果，確定在所述語料中出現(xiàn)過的詞；

分別針對(duì)所述確定的互不相同的詞，執(zhí)行：

確定該詞對(duì)應(yīng)的各n元字符，該詞對(duì)應(yīng)的n元字符表征由該詞的連續(xù)n個(gè)字母映射得到的字符串，n為一個(gè)正整數(shù)或多個(gè)不同的正整數(shù)。

5.如權(quán)利要求4所述的方法，所述根據(jù)對(duì)所述語料分詞的結(jié)果，確定在所述語料中出現(xiàn)過的詞，具體包括：

根據(jù)對(duì)所述語料分詞的結(jié)果，確定在所述語料中出現(xiàn)過且出現(xiàn)次數(shù)不少于設(shè)定次數(shù)的詞。

6.如權(quán)利要求1所述的方法，所述初始化所述各詞的詞向量，以及所述各詞對(duì)應(yīng)的各n元字符的字符向量，具體包括：

采用隨機(jī)初始化的方式或者按照指定概率分布初始化的方式，初始化所述各詞的詞向量，以及所述各詞對(duì)應(yīng)的各n元字符的字符向量，其中，相同n元字符的字符向量也相同。

7.如權(quán)利要求1所述的方法，所述根據(jù)所述詞向量、所述字符向量，以及分詞后的所述語料，對(duì)所述詞向量和所述字符向量進(jìn)行訓(xùn)練，具體包括：

確定分詞后的所述語料中的指定詞，以及所述指定詞在分詞后的所述語料中的一個(gè)或多個(gè)上下文詞；

根據(jù)所述指定詞對(duì)應(yīng)的各n元字符的字符向量，以及所述上下文詞的詞向量，確定所述指定詞與所述上下文詞的相似度；

根據(jù)所述指定詞與所述上下文詞的相似度，對(duì)所述上下文詞的詞向量和所述指定詞對(duì)應(yīng)的各n元字符的字符向量進(jìn)行更新。

8.如權(quán)利要求7所述的方法，所述根據(jù)所述指定詞與所述上下文詞的相似度，對(duì)所述上下文詞的詞向量和所述指定詞對(duì)應(yīng)的各n元字符的字符向量進(jìn)行更新，具體包括：

從所述各詞中選擇一個(gè)或多個(gè)詞，作為負(fù)樣例詞；

確定所述指定詞與各所述負(fù)樣例詞的相似度；

根據(jù)指定的損失函數(shù)、所述指定詞與所述上下文詞的相似度，以及所述指定詞與各所述負(fù)樣例詞的相似度，確定所述指定詞對(duì)應(yīng)的損失表征值；

根據(jù)所述損失表征值，對(duì)所述上下文詞的詞向量和所述指定詞對(duì)應(yīng)的各n元字符的字符向量進(jìn)行更新。

9.如權(quán)利要求8所述的方法，所述根據(jù)所述損失表征值，對(duì)所述上下文詞的詞向量和所述指定詞對(duì)應(yīng)的各n元字符的字符向量進(jìn)行更新，具體包括：

根據(jù)所述損失表征值，確定所述損失函數(shù)對(duì)應(yīng)的梯度；

根據(jù)所述梯度，對(duì)所述上下文詞的詞向量和所述指定詞對(duì)應(yīng)的各n元字符的字符向量進(jìn)行更新。

10.如權(quán)利要求8所述的方法，所述從所述各詞中選擇一個(gè)或多個(gè)詞，作為負(fù)樣例詞，具體包括：

從所述各詞中隨機(jī)選擇一個(gè)或多個(gè)詞，作為負(fù)樣例詞。