[發(fā)明專利]詞向量處理方法、裝置以及電子設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201710583670.4
• 申請(qǐng)日: 2017-07-18
• 公開（公告）號(hào): CN107577658B
• 公開（公告）日: 2021-01-29
• 發(fā)明（設(shè)計(jì)）人: 曹紹升;周俊
• 申請(qǐng)（專利權(quán)）人: 創(chuàng)新先進(jìn)技術(shù)有限公司
• 主分類號(hào): G06F40/289
• 分類號(hào): G06F40/289;G06F40/284
• 代理公司: 北京晉德允升知識(shí)產(chǎn)權(quán)代理有限公司 11623
• 代理人: 王戈

本說(shuō)明書實(shí)施例公開了詞向量處理方法、裝置以及電子設(shè)備。所述方法包括：從詞中劃分出多個(gè)n元字符，基于n元字符的字符向量，對(duì)該詞的詞向量進(jìn)行訓(xùn)練，其中，n元字符表征其對(duì)應(yīng)的詞的連續(xù)n個(gè)字符，以日文詞為例，其字符為假名和/或日文漢字。

技術(shù)領(lǐng)域

本說(shuō)明書涉及計(jì)算機(jī)軟件技術(shù)領(lǐng)域，尤其涉及詞向量處理方法、裝置以及電子設(shè)備。

背景技術(shù)

如今的自然語(yǔ)言處理的解決方案，大都采用基于神經(jīng)網(wǎng)絡(luò)的架構(gòu)，而在這種架構(gòu)下一個(gè)重要的基礎(chǔ)技術(shù)就是詞向量。詞向量是將詞映射到一個(gè)固定維度的向量，該向量表征了該詞的語(yǔ)義信息。

在現(xiàn)有技術(shù)中，常見(jiàn)的用于生成詞向量的算法是專門針對(duì)英文設(shè)計(jì)的。比如，谷歌公司的單詞向量算法、微軟公司的深度神經(jīng)網(wǎng)絡(luò)算法等。

基于現(xiàn)有技術(shù)，需要一種針對(duì)日文的詞向量生成方案。

發(fā)明內(nèi)容

本說(shuō)明書實(shí)施例提供詞向量處理方法、裝置以及電子設(shè)備，用以解決如下技術(shù)問(wèn)題：需要一種針對(duì)日文的詞向量生成方案。

為解決上述技術(shù)問(wèn)題，本說(shuō)明書實(shí)施例是這樣實(shí)現(xiàn)的：

本說(shuō)明書實(shí)施例提供的一種詞向量處理方法，包括：

對(duì)語(yǔ)料分詞得到各詞；

確定所述各詞對(duì)應(yīng)的各n元字符，所述n元字符表征其對(duì)應(yīng)的詞的連續(xù)n個(gè)字符；

建立并初始化所述各詞的詞向量，以及所述各詞對(duì)應(yīng)的各n元字符的字符向量；

根據(jù)所述詞向量、所述字符向量，以及分詞后的所述語(yǔ)料，對(duì)所述詞向量和所述字符向量進(jìn)行訓(xùn)練；

其中，所述詞為日文詞，所述字符為假名和/或日文漢字。

本說(shuō)明書實(shí)施例提供的一種詞向量處理裝置，包括：

分詞模塊，對(duì)語(yǔ)料分詞得到各詞；

確定模塊，確定所述各詞對(duì)應(yīng)的各n元字符，所述n元字符表征其對(duì)應(yīng)的詞的連續(xù)n個(gè)字符；

初始化模塊，建立并初始化所述各詞的詞向量，以及所述各詞對(duì)應(yīng)的各n元字符的字符向量；

訓(xùn)練模塊，根據(jù)所述詞向量、所述字符向量，以及分詞后的所述語(yǔ)料，對(duì)所述詞向量和所述字符向量進(jìn)行訓(xùn)練；

其中，所述詞為日文詞，所述字符為假名和/或日文漢字。

本說(shuō)明書實(shí)施例提供的另一種詞向量處理方法，包括：

步驟1，對(duì)語(yǔ)料分詞，并建立通過(guò)所述分詞得到的各詞構(gòu)成的詞匯表，其中，所述各詞不包括在所述語(yǔ)料中出現(xiàn)次數(shù)少于設(shè)定次數(shù)的詞；跳轉(zhuǎn)步驟2；

步驟2，根據(jù)所述詞匯表，建立n元字符映射表，所述映射表包含所述各詞與n元字符之間的映射關(guān)系，所述n元字符表征其映射的詞的連續(xù)n個(gè)字符；跳轉(zhuǎn)步驟3；

步驟3，根據(jù)所述n元字符映射表，建立并初始化所述各詞的詞向量，以及所述各詞映射的各n元字符的字符向量；跳轉(zhuǎn)步驟4；

步驟4，遍歷分詞后的所述語(yǔ)料，分別將遍歷到的詞作為當(dāng)前詞w并對(duì)當(dāng)前詞w執(zhí)行步驟5，若遍歷完成則結(jié)束，否則繼續(xù)遍歷；

步驟5，以當(dāng)前詞w為中心，向兩側(cè)分別滑動(dòng)至多k個(gè)詞建立窗口，遍歷所述窗口中除當(dāng)前詞w以外的所有詞，分別將遍歷到的詞作為當(dāng)前詞w的當(dāng)前上下文詞c并對(duì)當(dāng)前上下文詞c執(zhí)行步驟6，若遍歷完成則繼續(xù)步驟4的執(zhí)行，否則繼續(xù)遍歷；

步驟6，按照如下公式計(jì)算當(dāng)前詞w與當(dāng)前上下文詞c的相似度：