[發(fā)明專利]語言模型預(yù)訓(xùn)練、產(chǎn)品搜索方法、裝置以及計(jì)算機(jī)設(shè)備

有效

• 申請?zhí)枺?/td>: 202210635740.7
• 申請日: 2022-06-07
• 公開（公告）號: CN114723073B
• 公開（公告）日: 2023-09-05
• 發(fā)明（設(shè)計(jì)）人: 劉克松;蔣建慧;呂非非
• 申請（專利權(quán)）人: 阿里健康科技（杭州）有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06N3/0499;G06N3/08;G06F40/151;G06F40/284;G06F40/295;G06F16/335
• 代理公司: 北京布瑞知識產(chǎn)權(quán)代理有限公司 11505
• 代理人: 周達(dá)

本說明書實(shí)施方式提供一種語言模型預(yù)訓(xùn)練、產(chǎn)品搜索方法、裝置以及計(jì)算機(jī)設(shè)備。通過提供包括非結(jié)構(gòu)化的文本數(shù)據(jù)集和結(jié)構(gòu)化的產(chǎn)品數(shù)據(jù)集的語料集，利用文本數(shù)據(jù)集訓(xùn)練所述輔助轉(zhuǎn)化器和所述主轉(zhuǎn)化器執(zhí)行RTD預(yù)訓(xùn)練任務(wù)，利用產(chǎn)品數(shù)據(jù)集訓(xùn)練所述主轉(zhuǎn)化器執(zhí)行PAP預(yù)訓(xùn)練任務(wù)。在達(dá)到模型訓(xùn)練的停止條件時，將主轉(zhuǎn)換器作為目標(biāo)語言模型，通過引入新的PAP預(yù)訓(xùn)練任務(wù)，不僅實(shí)現(xiàn)將產(chǎn)品知識注入到目標(biāo)語言模型中，不再需要費(fèi)力構(gòu)建相應(yīng)的產(chǎn)品知識圖譜，而且提升目標(biāo)語言模型在下游任務(wù)中的表現(xiàn)能力。

技術(shù)領(lǐng)域

本說明書實(shí)施方式涉及自然語言處理技術(shù)領(lǐng)域，具體涉及一種語言模型預(yù)訓(xùn)練、產(chǎn)品搜索方法、裝置以及計(jì)算機(jī)設(shè)備。

背景技術(shù)

近年來，預(yù)訓(xùn)練語言模型（PLM，Pre-trained?Language?Model）極大地提高了各種自然語言處理（NLP）任務(wù)的性能。在NLP模型的訓(xùn)練任務(wù)中通常采用預(yù)訓(xùn)練和微調(diào)的方法。

在傳統(tǒng)技術(shù)中，預(yù)訓(xùn)練語言模型通常使用大型語料庫中的文本序列以自我監(jiān)督方式學(xué)習(xí)的方式捕獲詞義。進(jìn)一步地，預(yù)訓(xùn)練語言模型可以應(yīng)用在搜索引擎上用來解決一些查詢?nèi)蝿?wù)。

發(fā)明內(nèi)容

有鑒于此，本說明書實(shí)施方式致力于至少提供一種語言模型預(yù)訓(xùn)練、產(chǎn)品搜索方法、裝置以及計(jì)算機(jī)設(shè)備，實(shí)現(xiàn)以產(chǎn)品的結(jié)構(gòu)化信息訓(xùn)練語言模型，并將產(chǎn)品的相關(guān)知識信息注入語言模型中，從而不再需要費(fèi)力構(gòu)建相應(yīng)的產(chǎn)品知識圖譜的技術(shù)效果。

本說明書實(shí)施方式提供了一種語言模型預(yù)訓(xùn)練方法，所述方法還包括：提供用于訓(xùn)練初始語言模型的語料集，其中，所述初始語言模型包括主轉(zhuǎn)化器和為所述主轉(zhuǎn)化器提供輸入文本序列的輔助轉(zhuǎn)化器；所述語料集包括非結(jié)構(gòu)化的文本數(shù)據(jù)集和結(jié)構(gòu)化的產(chǎn)品數(shù)據(jù)集；基于所述語料集對所述初始語言模型進(jìn)行訓(xùn)練得到目標(biāo)語言模型；其中，所述文本數(shù)據(jù)集用于訓(xùn)練所述輔助轉(zhuǎn)化器和所述主轉(zhuǎn)化器，得到第一語言模型；所述產(chǎn)品數(shù)據(jù)集用于對所述主轉(zhuǎn)化器進(jìn)行訓(xùn)練，得到第二語言模型；其中，所述目標(biāo)語言模型包括所述第一語言模型中的主轉(zhuǎn)化器或者所述第二語言模型中的主轉(zhuǎn)化器。

本說明書實(shí)施方式提供一種產(chǎn)品搜索方法，所述方法還包括：獲取目標(biāo)產(chǎn)品的搜索關(guān)鍵詞和候選產(chǎn)品的標(biāo)題；其中，所述搜索關(guān)鍵詞與所述目標(biāo)產(chǎn)品的屬性名稱相關(guān)；將所述搜索關(guān)鍵詞和所述候選產(chǎn)品的標(biāo)題輸入至目標(biāo)語言模型進(jìn)行預(yù)測，得到所述搜索關(guān)鍵詞以及所述候選產(chǎn)品的標(biāo)題之間的相關(guān)數(shù)據(jù)；其中，所述目標(biāo)語言模型是通過上述任一實(shí)施方式所述的語言模型預(yù)訓(xùn)練方法得到的；基于所述相關(guān)數(shù)據(jù)，在所述候選產(chǎn)品中確定所述目標(biāo)產(chǎn)品。

本說明書實(shí)施方式提供一種語言模型預(yù)訓(xùn)練裝置，所述裝置包括：語料集提供模塊，用于提供用于訓(xùn)練初始語言模型的語料集，其中，所述初始語言模型包括主轉(zhuǎn)化器和為所述主轉(zhuǎn)化器提供輸入文本序列的輔助轉(zhuǎn)化器；其中，所述語料集包括非結(jié)構(gòu)化的文本數(shù)據(jù)集和結(jié)構(gòu)化的產(chǎn)品數(shù)據(jù)集；語言模型訓(xùn)練模塊，用于基于所述語料集對所述初始語言模型進(jìn)行訓(xùn)練得到目標(biāo)語言模型；其中，所述文本數(shù)據(jù)集用于訓(xùn)練所述輔助轉(zhuǎn)化器和所述主轉(zhuǎn)化器，得到第一語言模型；所述產(chǎn)品數(shù)據(jù)集用于對所述主轉(zhuǎn)化器進(jìn)行訓(xùn)練，得到第二語言模型；其中，所述目標(biāo)語言模型包括所述第一語言模型中的主轉(zhuǎn)化器或者所述第二語言模型中的主轉(zhuǎn)化器。

本說明書實(shí)施方式提供一種產(chǎn)品搜索裝置，所述裝置包括：獲取模塊，用于獲取目標(biāo)產(chǎn)品的搜索關(guān)鍵詞和候選產(chǎn)品的標(biāo)題；其中，所述搜索關(guān)鍵詞與所述目標(biāo)產(chǎn)品的屬性名稱相關(guān)；預(yù)測模塊，用于將所述搜索關(guān)鍵詞和所述候選產(chǎn)品的標(biāo)題輸入至目標(biāo)語言模型進(jìn)行預(yù)測，得到所述搜索關(guān)鍵詞以及所述候選產(chǎn)品的標(biāo)題之間的相關(guān)數(shù)據(jù)；其中，所述目標(biāo)語言模型是通過上述任一實(shí)施方式所述的語言模型預(yù)訓(xùn)練方法得到的；確定模塊，用于基于所述相關(guān)數(shù)據(jù)，在所述候選產(chǎn)品中確定所述目標(biāo)產(chǎn)品。

本說明書實(shí)施方式提供一種計(jì)算設(shè)備，包括存儲器和處理器，所述存儲器存儲有計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時實(shí)現(xiàn)上述實(shí)施方式中的方法步驟。

本說明書實(shí)施方式提供一種計(jì)算機(jī)可讀存儲介質(zhì)，其上存儲有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時實(shí)現(xiàn)上述實(shí)施方式中的方法步驟。