[發(fā)明專利]詞向量處理方法、裝置以及電子設(shè)備

有效

• 申請?zhí)枺?/td>: 201710583646.0
• 申請日: 2017-07-18
• 公開（公告）號: CN107562715B
• 公開（公告）日: 2021-01-26
• 發(fā)明（設(shè)計(jì)）人: 曹紹升;周俊
• 申請（專利權(quán)）人: 創(chuàng)新先進(jìn)技術(shù)有限公司
• 主分類號: G06F40/284
• 分類號: G06F40/284;G06F40/253
• 代理公司: 北京晉德允升知識產(chǎn)權(quán)代理有限公司 11623
• 代理人: 王戈

本說明書實(shí)施例公開了詞向量處理方法、裝置以及電子設(shè)備。所述方法包括：從詞中劃分出一個(gè)或多個(gè)語素，基于語素的語素向量，對該詞的詞向量進(jìn)行訓(xùn)練，其中，語素包括其對應(yīng)詞的以下至少一種元素：前綴、后綴、詞根、前后綴以外的字符串。

技術(shù)領(lǐng)域

本說明書涉及計(jì)算機(jī)軟件技術(shù)領(lǐng)域，尤其涉及詞向量處理方法、裝置以及電子設(shè)備。

背景技術(shù)

如今的自然語言處理的解決方案，大都采用基于神經(jīng)網(wǎng)絡(luò)的架構(gòu)，而在這種架構(gòu)下一個(gè)重要的基礎(chǔ)技術(shù)就是詞向量。詞向量是將詞映射到一個(gè)固定維度的向量，該向量表征了該詞的語義信息。

在現(xiàn)有技術(shù)中，常見的用于生成詞向量的算法比如包括：谷歌公司的單詞向量算法、微軟公司的深度神經(jīng)網(wǎng)絡(luò)算法等。

基于現(xiàn)有技術(shù)，需要一種針對英文或者法文的更準(zhǔn)確的詞向量生成方案。

發(fā)明內(nèi)容

本說明書實(shí)施例提供詞向量處理方法、裝置以及電子設(shè)備，用以解決如下技術(shù)問題：需要一種針對英文或者法文的更準(zhǔn)確的詞向量生成方案。

為解決上述技術(shù)問題，本說明書實(shí)施例是這樣實(shí)現(xiàn)的：

本說明書實(shí)施例提供的一種詞向量處理方法，包括：

對語料分詞得到各詞；

確定所述各詞對應(yīng)的各語素；

建立并初始化所述各詞的詞向量，以及所述各詞對應(yīng)的各語素的語素向量；

根據(jù)所述詞向量、所述語素向量，以及分詞后的所述語料，對所述詞向量和所述語素向量進(jìn)行訓(xùn)練；

其中，所述語素包括其對應(yīng)詞的以下至少一種元素：前綴、后綴、詞根、前后綴以外的字符串。

本說明書實(shí)施例提供的一種詞向量處理裝置，包括：

分詞模塊，對語料分詞得到各詞；

確定模塊，確定所述各詞對應(yīng)的各語素；

初始化模塊，建立并初始化所述各詞的詞向量，以及所述各詞對應(yīng)的各語素的語素向量；

訓(xùn)練模塊，根據(jù)所述詞向量、所述語素向量，以及分詞后的所述語料，對所述詞向量和所述語素向量進(jìn)行訓(xùn)練；

其中，所述語素包括其對應(yīng)詞的以下至少一種元素：前綴、后綴、詞根、前后綴以外的字符串。

本說明書實(shí)施例提供的另一種詞向量處理方法，包括：

步驟1，對語料分詞，并建立通過所述分詞得到的各詞構(gòu)成的詞匯表，其中，所述各詞不包括在所述語料中出現(xiàn)次數(shù)少于設(shè)定次數(shù)的詞；跳轉(zhuǎn)步驟2；

步驟2，根據(jù)所述詞匯表，建立語素映射表，所述映射表包含所述各詞與語素之間的映射關(guān)系；跳轉(zhuǎn)步驟3；

步驟3，根據(jù)所述語素映射表，建立并初始化所述各詞的詞向量，以及所述各詞映射的各語素的語素向量；跳轉(zhuǎn)步驟4；

步驟4，遍歷分詞后的所述語料，分別將遍歷到的詞作為當(dāng)前詞w并對當(dāng)前詞w執(zhí)行步驟5，若遍歷完成則結(jié)束，否則繼續(xù)遍歷；

步驟5，以當(dāng)前詞w為中心，向兩側(cè)分別滑動至多k個(gè)詞建立窗口，遍歷所述窗口中除當(dāng)前詞w以外的所有詞，分別將遍歷到的詞作為當(dāng)前詞w的當(dāng)前上下文詞c并對當(dāng)前上下文詞c執(zhí)行步驟6，若遍歷完成則繼續(xù)步驟4的執(zhí)行，否則繼續(xù)遍歷；

步驟6，按照如下公式計(jì)算當(dāng)前詞w與當(dāng)前上下文詞c的相似度：