[發(fā)明專利]詞向量處理方法、裝置以及電子設(shè)備

有效

• 申請?zhí)枺?/td>: 201710583716.2
• 申請日: 2017-07-18
• 公開（公告）號: CN107844472B
• 公開（公告）日: 2021-08-24
• 發(fā)明（設(shè)計(jì)）人: 曹紹升;周俊
• 申請（專利權(quán)）人: 創(chuàng)新先進(jìn)技術(shù)有限公司
• 主分類號: G06F40/289
• 分類號: G06F40/289;G06F40/30
• 代理公司: 北京晉德允升知識產(chǎn)權(quán)代理有限公司 11623
• 代理人: 王戈

1.一種詞向量處理方法，包括：

對語料分詞得到各詞；

確定所述各詞對應(yīng)的各n元字母，所述n元字母表征其對應(yīng)的詞的連續(xù)n個字母；

建立并初始化所述各詞的詞向量，以及所述各詞對應(yīng)的各n元字母的字母向量；

根據(jù)所述詞向量、所述字母向量，以及分詞后的所述語料，對所述詞向量和所述字母向量進(jìn)行訓(xùn)練；

其中，所述詞為日耳曼語族語言的詞；

所述根據(jù)所述詞向量、所述字母向量，以及分詞后的所述語料，對所述詞向量和所述字母向量進(jìn)行訓(xùn)練，具體包括：

對分詞后的所述語料進(jìn)行遍歷，分別對分詞后的所述語料中的詞執(zhí)行：

確定該詞在分詞后的所述語料中的一個或多個上下文詞；

分別根據(jù)所述上下文詞，執(zhí)行：

根據(jù)該詞對應(yīng)的各n元字母的字母向量，以及該上下文詞的詞向量，確定該詞與該上下文詞的相似度；

根據(jù)該詞與該上下文詞的相似度，對該上下文詞的詞向量和該詞對應(yīng)的各n元字母的字母向量進(jìn)行更新；

所述根據(jù)該詞對應(yīng)的各n元字母的字母向量，以及該上下文詞的詞向量，確定該詞與該上下文詞的相似度，具體包括：

所述根據(jù)該詞對應(yīng)的各n元字母的字母向量、該詞的詞向量，以及該上下文詞的詞向量，確定該詞與該上下文詞的相似度；

所述根據(jù)該詞對應(yīng)的各n元字母的字母向量、該詞的詞向量，以及該上下文詞的詞向量，確定該詞與該上下文詞的相似度，具體包括：

按照如下公式計(jì)算該詞與該上下文詞的相似度：

其中，S(w)表示該詞w對應(yīng)的各n元字母的集合，q表示S(w)中的各n元字母，sim(w,c)表示該詞w與該上下文詞c的相似度；表示q的字母向量，表示w的詞向量，表示c的詞向量，⊙表示針對兩個向量的特定運(yùn)算，所述特定運(yùn)算為點(diǎn)積運(yùn)算、或者夾角余弦運(yùn)算、或者歐式距離運(yùn)算；β₁、β₂為權(quán)重參數(shù)。

2.如權(quán)利要求1所述的方法，所述確定所述各詞對應(yīng)的各n元字母，具體包括：

根據(jù)對所述語料分詞的結(jié)果，確定在所述語料中出現(xiàn)過的詞；

分別針對所述確定的互不相同的詞，執(zhí)行：

確定該詞對應(yīng)的各n元字母，該詞對應(yīng)的n元字母表征該詞的連續(xù)n個字母，n為一個正整數(shù)或多個不同的正整數(shù)。

3.如權(quán)利要求2所述的方法，所述根據(jù)對所述語料分詞的結(jié)果，確定在所述語料中出現(xiàn)過的詞，具體包括：

根據(jù)對所述語料分詞的結(jié)果，確定在所述語料中出現(xiàn)過且出現(xiàn)次數(shù)不少于設(shè)定次數(shù)的詞。

4.如權(quán)利要求1所述的方法，所述初始化所述各詞的詞向量，以及所述各詞對應(yīng)的各n元字母的字母向量，具體包括：

采用隨機(jī)初始化的方式或者按照指定概率分布初始化的方式，初始化所述各詞的詞向量，以及所述各詞對應(yīng)的各n元字母的字母向量，其中，相同n元字母的字母向量也相同。

5.如權(quán)利要求1所述的方法，所述根據(jù)所述詞向量、所述字母向量，以及分詞后的所述語料，對所述詞向量和所述字母向量進(jìn)行訓(xùn)練，具體包括：

確定分詞后的所述語料中的指定詞，以及所述指定詞在分詞后的所述語料中的一個或多個上下文詞；

根據(jù)所述指定詞對應(yīng)的各n元字母的字母向量，以及所述上下文詞的詞向量，確定所述指定詞與所述上下文詞的相似度；

根據(jù)所述指定詞與所述上下文詞的相似度，對所述上下文詞的詞向量和所述指定詞對應(yīng)的各n元字母的字母向量進(jìn)行更新。

6.如權(quán)利要求5所述的方法，所述根據(jù)所述指定詞與所述上下文詞的相似度，對所述上下文詞的詞向量和所述指定詞對應(yīng)的各n元字母的字母向量進(jìn)行更新，具體包括：

從所述各詞中選擇一個或多個詞，作為負(fù)樣例詞；

確定所述指定詞與各所述負(fù)樣例詞的相似度；

根據(jù)指定的損失函數(shù)、所述指定詞與所述上下文詞的相似度，以及所述指定詞與各所述負(fù)樣例詞的相似度，確定所述指定詞對應(yīng)的損失表征值；

根據(jù)所述損失表征值，對所述上下文詞的詞向量和所述指定詞對應(yīng)的各n元字母的字母向量進(jìn)行更新。