[發(fā)明專利]向量模型訓練方法及裝置、相似度確定方法及裝置

有效

• 申請?zhí)枺?/td>: 202010358085.6
• 申請日: 2020-04-29
• 公開（公告）號: CN111539228B
• 公開（公告）日: 2023-08-08
• 發(fā)明（設計）人: 錢雋夫;鄒泊滔;王愛凌;趙云;王膂;曾威龍;王嘉浩;劉丹丹;孫清清
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06F40/49
• 分類號: G06F40/49;G06F40/126;G06F40/205;G06F40/237
• 代理公司: 北京智信禾專利代理有限公司 11637
• 代理人: 李曉慶

本說明書實施例提供了向量模型訓練方法及裝置、相似度確定方法及裝置，其中，所述向量模型訓練方法包括獲取多語種語料庫中每種語言語料對應的初始詞集合，且將每種語言語料對應的初始詞集合轉(zhuǎn)譯為統(tǒng)一編碼格式的轉(zhuǎn)譯詞集合；將所述轉(zhuǎn)譯詞集合中的每個轉(zhuǎn)譯詞按照預設字符長度進行拆分，形成每個轉(zhuǎn)譯詞的字符集合；為每個字符確定對應的字符向量以及為每個初始詞確定對應的詞向量；基于所述字符以及所述字符對應的字符向量、所述初始詞以及所述初始詞對應的詞向量對初始向量模型進行高效的訓練，得到精確的向量模型。

技術領域

本說明書實施例涉及計算機技術領域，特別涉及一種向量模型訓練方法以及一種相似度確定方法。本說明書一個或者多個實施例同時涉及一種向量模型訓練裝置，一種相似度確定裝置，兩種計算設備，以及兩種計算機可讀存儲介質(zhì)。

背景技術

近年來，自然語言處理技術的水平在不斷提高，各種語言也都逐漸形成了越來越豐富龐大的語料庫，從中我們可以挖掘出各種語言中存在的實體，如人名、地名、品牌名等。然而，各語言的實體之間卻無法直接比較，這導致跨語言的檢索、推理等任務的準確性不夠令人滿意。

因此，急需提供一種可以實現(xiàn)各語言的實體之間進行相似度比較的方法。

發(fā)明內(nèi)容

有鑒于此，本說明書施例提供了一種向量模型訓練方法以及一種相似度確定方法。本說明書一個或者多個實施例同時涉及一種向量模型訓練裝置，一種相似度確定裝置，兩種計算設備，以及兩種計算機可讀存儲介質(zhì)，以解決現(xiàn)有技術中存在的技術缺陷。

根據(jù)本說明書實施例的第一方面，提供了一種向量模型訓練方法，包括：

獲取多語種語料庫中每種語言語料對應的初始詞集合，且將每種語言語料對應的初始詞集合轉(zhuǎn)譯為統(tǒng)一編碼格式的轉(zhuǎn)譯詞集合；

將所述轉(zhuǎn)譯詞集合中的每個轉(zhuǎn)譯詞按照預設字符長度進行拆分，形成每個轉(zhuǎn)譯詞的字符集合，其中，所述字符集合中包括至少一個預設字符長度的字符；

為每個字符確定對應的字符向量以及為每個初始詞確定對應的詞向量；

基于所述字符以及所述字符對應的字符向量、所述初始詞以及所述初始詞對應的詞向量對初始向量模型進行訓練，得到向量模型，所述向量模型輸出每個字符對應的字符向量以及每個初始詞對應的詞向量。

根據(jù)本說明書實施例的第二方面，提供了一種向量模型訓練方法，包括：

接收第一語言語料對應的第一語言初始詞集合以及第二語言語料對應的第二語言初始詞集合；

其中，所述第一語言初始詞集合包含至少一個第一語言初始詞，所述第二語言初始詞集合包含至少一個第二語言初始詞；

在所述第一語言初始詞與多語種語料庫中的初始詞匹配的情況下，將所述第一語言初始詞輸入向量模型，得到所述第一語言初始詞對應的第一語言詞向量；

在所述第二語言初始詞與所述多語種語料庫中的初始詞匹配的情況下，將所述第二語言初始詞輸入向量模型，得到所述第二語言初始詞對應的第二語言詞向量；

基于所述第一語言詞向量確定所述第一語言語料的第一目標向量，以及基于所述第二語言詞向量確定所述第二語言語料的第二目標向量；

根據(jù)預設相似度算法確定所述第一目標向量以及所述第二目標向量的相似度。

根據(jù)本說明書實施例的第三方面，提供了一種向量模型訓練裝置，包括：

初始詞獲取模塊，被配置為獲取多語種語料庫中每種語言語料對應的初始詞集合，且將每種語言語料對應的初始詞集合轉(zhuǎn)譯為統(tǒng)一編碼格式的轉(zhuǎn)譯詞集合；

字符拆分模塊，被配置為將所述轉(zhuǎn)譯詞集合中的每個轉(zhuǎn)譯詞按照預設字符長度進行拆分，形成每個轉(zhuǎn)譯詞的字符集合，其中，所述字符集合中包括至少一個預設字符長度的字符；