[發(fā)明專利]輸入法長句預(yù)測模型的訓(xùn)練方法、裝置、電子設(shè)備及介質(zhì)

有效

• 申請?zhí)枺?/td>: 202011538693.1
• 申請日: 2020-12-23
• 公開（公告）號: CN112527127B
• 公開（公告）日: 2022-01-28
• 發(fā)明（設(shè)計）人: 龔建
• 申請（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號: G06F3/023
• 分類號: G06F3/023;G06F40/30;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京清亦華知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 韓海花

本申請公開了輸入法長句預(yù)測模型的訓(xùn)練方法、裝置、電子設(shè)備及介質(zhì)，涉及計算機技術(shù)領(lǐng)域，具體涉及自然語言處理、深度學(xué)習(xí)等人工智能技術(shù)領(lǐng)域。具體實現(xiàn)方案：獲取多個第一樣本文本；根據(jù)預(yù)訓(xùn)練的教師模型對所述第一樣本文本進行增強處理，得到多個第二樣本文本；根據(jù)所述教師模型生成初始化的學(xué)生模型；根據(jù)所述多個第一樣本文本和所述多個第二樣本文本訓(xùn)練所述初始化的學(xué)生模型，以得到輸入法長句預(yù)測模型，能夠使得輸入法長句預(yù)測模型具有較好的長句預(yù)測能力，提升輸入法長句預(yù)測模型的預(yù)測效率，提升模型預(yù)測效果。

技術(shù)領(lǐng)域

本申請涉及計算機技術(shù)領(lǐng)域，具體涉及自然語言處理、深度學(xué)習(xí)等人工智能技術(shù)領(lǐng)域，尤其涉及輸入法長句預(yù)測模型的訓(xùn)練方法、裝置、電子設(shè)備及介質(zhì)。

背景技術(shù)

人工智能是研究使計算機來模擬人的某些思維過程和智能行為(如學(xué)習(xí)、推理、思考、規(guī)劃等)的學(xué)科，既有硬件層面的技術(shù)也有軟件層面的技術(shù)。人工智能硬件技術(shù)一般包括如傳感器、專用人工智能芯片、云計算、分布式存儲、大數(shù)據(jù)處理等技術(shù)；人工智能軟件技術(shù)主要包括計算機視覺技術(shù)、語音識別技術(shù)、自然語言處理技術(shù)以及機器學(xué)習(xí)、深度學(xué)習(xí)、大數(shù)據(jù)處理技術(shù)、知識圖譜技術(shù)等幾大方向。

長序預(yù)測又稱為長句預(yù)測，是輸入法預(yù)測功能的一個擴展，相關(guān)技術(shù)中的輸入法主要是預(yù)測下一個字、詞、短語等較短的文本，而長序預(yù)測是希望能夠預(yù)測用戶輸入的一整句話或者下一句話。

發(fā)明內(nèi)容

提供了一種輸入法長句預(yù)測模型的訓(xùn)練方法、裝置、電子設(shè)備、存儲介質(zhì)及計算機程序產(chǎn)品。

根據(jù)第一方面，提供了一種輸入法長句預(yù)測模型的訓(xùn)練方法，包括：獲取多個第一樣本文本；根據(jù)預(yù)訓(xùn)練的教師模型對所述第一樣本文本進行增強處理，得到多個第二樣本文本；根據(jù)所述教師模型生成初始化的學(xué)生模型；根據(jù)所述多個第一樣本文本和所述多個第二樣本文本訓(xùn)練所述初始化的學(xué)生模型，以得到輸入法長句預(yù)測模型。

根據(jù)第二方面，提供了一種輸入法長句預(yù)測模型的訓(xùn)練裝置，包括：獲取模塊，用于獲取多個第一樣本文本；處理模塊，用于根據(jù)預(yù)訓(xùn)練的教師模型對所述第一樣本文本進行增強處理，得到多個第二樣本文本；生成模塊，用于根據(jù)所述教師模型生成初始化的學(xué)生模型；訓(xùn)練模塊，用于根據(jù)所述多個第一樣本文本和所述多個第二樣本文本訓(xùn)練所述初始化的學(xué)生模型，以得到輸入法長句預(yù)測模型。

根據(jù)第三方面，提供了一種電子設(shè)備，包括：至少一個處理器；以及與所述至少一個處理器通信連接的存儲器；其中，所述存儲器存儲有可被所述至少一個處理器執(zhí)行的指令，所述指令被所述至少一個處理器執(zhí)行，以使所述至少一個處理器能夠執(zhí)行本申請實施例的輸入法長句預(yù)測模型的訓(xùn)練方法。

根據(jù)第四方面，提出了一種存儲有計算機指令的非瞬時計算機可讀存儲介質(zhì)，所述計算機指令用于使所述計算機執(zhí)行本申請實施例公開的輸入法長句預(yù)測模型的訓(xùn)練方法。

根據(jù)第五方面，提出了一種計算機程序產(chǎn)品，包括計算機程序，當(dāng)所述計算機程序由處理器執(zhí)行時實現(xiàn)本申請實施例公開的輸入法長句預(yù)測模型的訓(xùn)練方法。

應(yīng)當(dāng)理解，本部分所描述的內(nèi)容并非旨在標識本申請的實施例的關(guān)鍵或重要特征，也不用于限制本申請的范圍。本申請的其它特征將通過以下的說明書而變得容易理解。

附圖說明

附圖用于更好地理解本方案，不構(gòu)成對本公開的限定。其中：

圖1是根據(jù)本申請第一實施例的示意圖；

圖2是本申請實施例的訓(xùn)練流程示意圖；

圖3是根據(jù)本公開第二實施例的示意圖；

圖4是根據(jù)本公開第三實施例的示意圖；

圖5是根據(jù)本公開第四實施例的示意圖；

圖6是用來實現(xiàn)本公開實施例的輸入法長句預(yù)測模型的訓(xùn)練方法的電子設(shè)備的框圖。

具體實施方式