[發(fā)明專(zhuān)利]模型訓(xùn)練和詞向量確定方法、裝置、設(shè)備、介質(zhì)和產(chǎn)品

有效

• 申請(qǐng)?zhí)枺?/td>: 202110277972.5
• 申請(qǐng)日: 2021-03-15
• 公開(kāi)（公告）號(hào): CN113011177B
• 公開(kāi)（公告）日: 2023-09-29
• 發(fā)明（設(shè)計(jì)）人: 馬超;張敬帥;黃啟帆;姚開(kāi)春;王鵬;祝恒書(shū)
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類(lèi)號(hào): G06F40/284
• 分類(lèi)號(hào): G06F40/284;G06F40/216;G06F40/30;G06N3/08
• 代理公司: 北京市金杜律師事務(wù)所 11256
• 代理人: 趙林琳;辛鳴

本公開(kāi)提供了一種模型訓(xùn)練和詞向量確定方法、裝置、設(shè)備、介質(zhì)和產(chǎn)品，可以用于自然語(yǔ)言處理領(lǐng)域和信息處理領(lǐng)域等領(lǐng)域中。該方法包括：獲取與第一詞集合對(duì)應(yīng)的第一詞向量集合；以及針對(duì)第一詞向量集合中的每個(gè)詞向量，基于詞嵌入模型生成降低維度的詞向量，基于降低維度的詞向量生成第一詞向量集合中的其他詞向量在第一詞向量集合中的第一概率分布，以及調(diào)整詞嵌入模型的參數(shù)，使得第一概率分布與通過(guò)第一詞向量集合中的詞向量的數(shù)量確定的其他詞向量的第二概率分布的差別盡可能小。利用上述方法，可以基于相關(guān)聯(lián)的、包括在語(yǔ)言學(xué)上不具有順序關(guān)系的詞的多個(gè)語(yǔ)料進(jìn)行詞嵌入，因此能夠增進(jìn)詞嵌入的效率和提高詞嵌入的效果，從而能夠提升用戶(hù)體驗(yàn)。

技術(shù)領(lǐng)域

本公開(kāi)涉及計(jì)算機(jī)技術(shù)，并且更具體地，涉及模型訓(xùn)練方法、詞向量確定方法、裝置、電子設(shè)備、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和計(jì)算機(jī)程序產(chǎn)品，可以用于自然語(yǔ)言處理領(lǐng)域和信息處理領(lǐng)域等領(lǐng)域中。

背景技術(shù)

詞嵌入是自然語(yǔ)言處理中對(duì)諸如技能詞的詞進(jìn)行表征的技術(shù)。從概念上而言，它是指把一個(gè)維數(shù)為所有詞的數(shù)量的詞的高維空間嵌入到一個(gè)維數(shù)低得多的詞的連續(xù)向量空間中，每個(gè)詞被映射為實(shí)數(shù)域上的向量。很多下游任務(wù)都可以使用詞嵌入向量作為輸入，因此詞嵌入的質(zhì)量很大程度上影響了下游任務(wù)的效果。下游任務(wù)例如可以包括機(jī)器學(xué)習(xí)任務(wù)簡(jiǎn)歷分類(lèi)任務(wù)、簡(jiǎn)歷評(píng)估任務(wù)、人崗匹配任務(wù)、招投標(biāo)任務(wù)等任務(wù)。

然而，傳統(tǒng)的用于詞嵌入的技術(shù)無(wú)論是在模型訓(xùn)練的效率還是模型訓(xùn)練的效果方面都存在不足。

發(fā)明內(nèi)容

根據(jù)本公開(kāi)的實(shí)施例，提供了一種模型訓(xùn)練方法、詞向量確定方法、裝置、電子設(shè)備、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和計(jì)算機(jī)程序產(chǎn)品。

在本公開(kāi)的第一方面中，提供了一種模型訓(xùn)練方法，包括：獲取與第一詞集合對(duì)應(yīng)的第一詞向量集合，第一詞集合來(lái)自第一語(yǔ)料，并且第一詞集合中的詞在語(yǔ)言學(xué)上不具有順序關(guān)系；以及針對(duì)第一詞向量集合中的每個(gè)詞向量，基于詞嵌入模型生成降低維度的詞向量，基于降低維度的詞向量生成第一詞向量集合中的其他詞向量在第一詞向量集合中的第一概率分布，以及調(diào)整詞嵌入模型的參數(shù)，使得使用經(jīng)調(diào)整的詞嵌入模型生成的第一概率分布與通過(guò)第一詞向量集合中的詞向量的數(shù)量確定的其他詞向量的第二概率分布的差別盡可能小。

在本公開(kāi)的第二方面中，提供了一種詞向量確定方法，包括使用根據(jù)本公開(kāi)的第一方面而被訓(xùn)練的詞嵌入模型，針對(duì)詞向量確定降低維度的詞向量。

在本公開(kāi)的第三方面中，提供了一種模型訓(xùn)練裝置，包括：第一詞向量集合獲取模塊，被配置為獲取與第一詞集合對(duì)應(yīng)的第一詞向量集合，第一詞集合來(lái)自第一語(yǔ)料，并且第一詞集合中的詞在語(yǔ)言學(xué)上不具有順序關(guān)系；以及第一參數(shù)調(diào)整模塊，被配置為針對(duì)第一詞向量集合中的每個(gè)詞向量，基于詞嵌入模型生成降低維度的詞向量，基于降低維度的詞向量生成第一詞向量集合中的其他詞向量在第一詞向量集合中的第一概率分布，以及調(diào)整詞嵌入模型的參數(shù)，使得使用經(jīng)調(diào)整的詞嵌入模型生成的第一概率分布與通過(guò)第一詞向量集合中的詞向量的數(shù)量確定的其他詞向量的第二概率分布的差別盡可能小。

在本公開(kāi)的第四方面中，提供了一種詞向量確定裝置，被配置為使用由根據(jù)本公開(kāi)的第三方面的模型訓(xùn)練裝置訓(xùn)練的詞嵌入模型，針對(duì)詞向量確定降低維度的詞向量。

在本公開(kāi)的第五方面中，提供了一種電子設(shè)備，包括至少一個(gè)處理器；以及與至少一個(gè)處理器通信連接的存儲(chǔ)器；其中存儲(chǔ)器存儲(chǔ)有可被至少一個(gè)處理器執(zhí)行的指令，該指令被至少一個(gè)處理器執(zhí)行，以使至少一個(gè)處理器能夠?qū)崿F(xiàn)根據(jù)本公開(kāi)的第一方面的方法。

在本公開(kāi)的第六方面中，提供了一種電子設(shè)備，包括至少一個(gè)處理器；以及與至少一個(gè)處理器通信連接的存儲(chǔ)器；其中存儲(chǔ)器存儲(chǔ)有可被至少一個(gè)處理器執(zhí)行的指令，該指令被至少一個(gè)處理器執(zhí)行，以使至少一個(gè)處理器能夠?qū)崿F(xiàn)根據(jù)本公開(kāi)的第二方面的方法。

在本公開(kāi)的第七方面中，提供了一種存儲(chǔ)有計(jì)算機(jī)指令的非瞬時(shí)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，計(jì)算機(jī)指令用于使計(jì)算機(jī)實(shí)現(xiàn)根據(jù)本公開(kāi)的第一方面的方法。