[發明專利]詞向量處理方法、裝置以及電子設備

有效

• 申請號: 201710583670.4
• 申請日: 2017-07-18
• 公開（公告）號: CN107577658B
• 公開（公告）日: 2021-01-29
• 發明（設計）人: 曹紹升;周俊
• 申請（專利權）人: 創新先進技術有限公司
• 主分類號: G06F40/289
• 分類號: G06F40/289;G06F40/284
• 代理公司: 北京晉德允升知識產權代理有限公司 11623
• 代理人: 王戈

1.一種詞向量處理方法，包括：

對語料分詞得到各詞；

確定所述各詞對應的各n元字符，所述n元字符表征其對應的詞的連續n個字符；

建立并初始化所述各詞的詞向量，以及所述各詞對應的各n元字符的字符向量；

根據所述詞向量、所述字符向量，以及分詞后的所述語料，對所述詞向量和所述字符向量進行訓練；

其中，所述詞為日文詞，所述字符為假名和/或日文漢字；

所述確定所述各詞對應的各n元字符，具體包括：

根據對所述語料分詞的結果，確定在所述語料中出現過的詞；

分別針對所述確定的互不相同的詞，執行：

確定該詞對應的各n元字符，該詞對應的n元字符表征該詞的連續n個字符，n為一個正整數或多個不同的正整數；

所述根據所述詞向量、所述字符向量，以及分詞后的所述語料，對所述詞向量和所述字符向量進行訓練，具體包括：

確定分詞后的所述語料中的指定詞，以及所述指定詞在分詞后的所述語料中的一個或多個上下文詞；

根據所述指定詞對應的各n元字符的字符向量，以及所述上下文詞的詞向量，確定所述指定詞與所述上下文詞的相似度；

根據所述指定詞與所述上下文詞的相似度，對所述上下文詞的詞向量和所述指定詞對應的各n元字符的字符向量進行更新。

2.如權利要求1所述的方法，所述根據對所述語料分詞的結果，確定在所述語料中出現過的詞，具體包括：

根據對所述語料分詞的結果，確定在所述語料中出現過且出現次數不少于設定次數的詞。

3.如權利要求1所述的方法，所述初始化所述各詞的詞向量，以及所述各詞對應的各n元字符的字符向量，具體包括：

采用隨機初始化的方式或者按照指定概率分布初始化的方式，初始化所述各詞的詞向量，以及所述各詞對應的各n元字符的字符向量，其中，相同n元字符的字符向量也相同。

4.如權利要求1所述的方法，所述根據所述指定詞與所述上下文詞的相似度，對所述上下文詞的詞向量和所述指定詞對應的各n元字符的字符向量進行更新，具體包括：

從所述各詞中選擇一個或多個詞，作為負樣例詞；

確定所述指定詞與各所述負樣例詞的相似度；

根據指定的損失函數、所述指定詞與所述上下文詞的相似度，以及所述指定詞與各所述負樣例詞的相似度，確定所述指定詞對應的損失表征值；

根據所述損失表征值，對所述上下文詞的詞向量和所述指定詞對應的各n元字符的字符向量進行更新。

5.如權利要求4所述的方法，所述根據所述損失表征值，對所述上下文詞的詞向量和所述指定詞對應的各n元字符的字符向量進行更新，具體包括：

根據所述損失表征值，確定所述損失函數對應的梯度；

根據所述梯度，對所述上下文詞的詞向量和所述指定詞對應的各n元字符的字符向量進行更新。

6.如權利要求4所述的方法，所述從所述各詞中選擇一個或多個詞，作為負樣例詞，具體包括：

從所述各詞中隨機選擇一個或多個詞，作為負樣例詞。

7.如權利要求1所述的方法，所述根據所述詞向量、所述字符向量，以及分詞后的所述語料，對所述詞向量和所述字符向量進行訓練，具體包括：

對分詞后的所述語料進行遍歷，分別對分詞后的所述語料中的詞執行：

確定該詞在分詞后的所述語料中的一個或多個上下文詞；

分別根據所述上下文詞，執行：

根據該詞對應的各n元字符的字符向量，以及該上下文詞的詞向量，確定該詞與該上下文詞的相似度；

根據該詞與該上下文詞的相似度，對該上下文詞的詞向量和該詞對應的各n元字符的字符向量進行更新。

8.如權利要求7所述的方法，所述根據該詞對應的各n元字符的字符向量，以及該上下文詞的詞向量，確定該詞與該上下文詞的相似度，具體包括：

所述根據該詞對應的各n元字符的字符向量、該詞的詞向量，以及該上下文詞的詞向量，確定該詞與該上下文詞的相似度。