[發(fā)明專利]模型訓(xùn)練方法、裝置、設(shè)備、存儲介質(zhì)以及程序產(chǎn)品

有效

• 申請?zhí)枺?/td>: 202110366052.0
• 申請日: 2021-04-06
• 公開（公告）號: CN112884086B
• 公開（公告）日: 2022-08-30
• 發(fā)明（設(shè)計(jì)）人: 吳志華;于佃海;梁建中;李龍;鞏偉寶;王曦
• 申請（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/08;G06T1/20
• 代理公司: 北京英賽嘉華知識產(chǎn)權(quán)代理有限責(zé)任公司 11204
• 代理人: 王達(dá)佐;馬曉亞

本公開提供了一種模型訓(xùn)練方法、裝置、設(shè)備、存儲介質(zhì)以及程序產(chǎn)品，涉及人工智能領(lǐng)域，尤其是深度學(xué)習(xí)技術(shù)領(lǐng)域。該方法的一具體實(shí)施方式包括：獲取訓(xùn)練樣本集；從預(yù)設(shè)的并行策略集合中開啟至少一個(gè)并行策略的開關(guān)，其中，并行策略集合中的每個(gè)并行策略對應(yīng)設(shè)置有開關(guān)；利用至少一個(gè)并行策略，基于訓(xùn)練樣本集對初始模型進(jìn)行訓(xùn)練，直至初始模型訓(xùn)練完成。該實(shí)施方式提供了一種混合并行策略，靈活支持不同并行策略的任務(wù)組合來并行訓(xùn)練模型，提高了模型的訓(xùn)練速度。

技術(shù)領(lǐng)域

本公開涉及人工智能領(lǐng)域，尤其是深度學(xué)習(xí)技術(shù)領(lǐng)域，尤其涉及模型訓(xùn)練方法、裝置、設(shè)備、存儲介質(zhì)以及程序產(chǎn)品。

背景技術(shù)

隨著大數(shù)據(jù)浪潮的推動與深度學(xué)習(xí)技術(shù)的長足發(fā)展，深度學(xué)習(xí)所涉及的數(shù)據(jù)規(guī)模與模型規(guī)模都發(fā)生了驚人的增長。大數(shù)據(jù)+大模型的雙重挑戰(zhàn)，是單機(jī)訓(xùn)練無法承受之重。目前，一般采用分布式訓(xùn)練技術(shù)從本質(zhì)上解決日益提高的數(shù)據(jù)規(guī)模與模型復(fù)雜度所帶來的訓(xùn)練問題。

發(fā)明內(nèi)容

本公開實(shí)施例提出了一種模型訓(xùn)練方法、裝置、設(shè)備、存儲介質(zhì)以及程序產(chǎn)品。

第一方面，本公開實(shí)施例提出了一種模型訓(xùn)練方法，包括：獲取訓(xùn)練樣本集；從預(yù)設(shè)的并行策略集合中開啟至少一個(gè)并行策略的開關(guān)，其中，并行策略集合中的每個(gè)并行策略對應(yīng)設(shè)置有開關(guān)；利用至少一個(gè)并行策略，基于訓(xùn)練樣本集對初始模型進(jìn)行訓(xùn)練，直至初始模型訓(xùn)練完成。

第二方面，本公開實(shí)施例提出了一種模型訓(xùn)練裝置，包括：獲取模塊，被配置成獲取訓(xùn)練樣本集；開啟模塊，被配置成從預(yù)設(shè)的并行策略集合中開啟至少一個(gè)并行策略的開關(guān)，其中，并行策略集合中的每個(gè)并行策略對應(yīng)設(shè)置有開關(guān)；訓(xùn)練模塊，被配置成利用至少一個(gè)并行策略，基于訓(xùn)練樣本集對初始模型進(jìn)行訓(xùn)練，直至初始模型訓(xùn)練完成。

第三方面，本公開實(shí)施例提出了一種電子設(shè)備，包括：至少一個(gè)處理器；以及與至少一個(gè)處理器通信連接的存儲器；其中，存儲器存儲有可被至少一個(gè)處理器執(zhí)行的指令，指令被至少一個(gè)處理器執(zhí)行，以使至少一個(gè)處理器能夠執(zhí)行如第一方面中任一實(shí)現(xiàn)方式描述的方法。

第四方面，本公開實(shí)施例提出了一種存儲有計(jì)算機(jī)指令的非瞬時(shí)計(jì)算機(jī)可讀存儲介質(zhì)，計(jì)算機(jī)指令用于使計(jì)算機(jī)執(zhí)行如第一方面中任一實(shí)現(xiàn)方式描述的方法。

第五方面，本公開實(shí)施例提出了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，計(jì)算機(jī)程序在被處理器執(zhí)行時(shí)實(shí)現(xiàn)如第一方面中任一實(shí)現(xiàn)方式描述的方法。

本公開實(shí)施例提供的模型訓(xùn)練方法、裝置、設(shè)備、存儲介質(zhì)以及程序產(chǎn)品，并行策略集合中的每個(gè)并行策略對應(yīng)設(shè)置有開關(guān)，使得用戶能夠根據(jù)業(yè)務(wù)情況選擇每個(gè)并行策略的任意開啟或關(guān)閉。針對在不同硬件上訓(xùn)練千億規(guī)模模型，不同并行策略在不同硬件上遇到的瓶頸不同。針對顯存和通信的瓶頸，來選擇不同的并行策略。提供了一種混合并行策略，靈活支持不同并行策略的任務(wù)組合來并行訓(xùn)練模型，提高了模型的訓(xùn)練速度。

應(yīng)當(dāng)理解，本部分所描述的內(nèi)容并非旨在標(biāo)識本公開的實(shí)施例的關(guān)鍵或重要特征，也不用于限制本公開的范圍。本公開的其它特征將通過以下的說明書而變得容易理解。

附圖說明

通過閱讀參照以下附圖所作的對非限制性實(shí)施例所作的詳細(xì)描述，本公開的其它特征、目的和優(yōu)點(diǎn)將會變得更明顯。附圖用于更好地理解本方案，不構(gòu)成對本公開的限定。其中：

圖1是根據(jù)本公開的模型訓(xùn)練方法的一個(gè)實(shí)施例的流程圖；

圖2是基于分片數(shù)據(jù)并行策略的模型訓(xùn)練方法的一個(gè)實(shí)施例的流程圖；

圖3是分片數(shù)據(jù)并行策略的一個(gè)示意圖；

圖4是分片數(shù)據(jù)并行策略的又一個(gè)示意圖；

圖5是分片數(shù)據(jù)并行策略的另一個(gè)示意圖；

圖6是基于流水線并行策略的模型訓(xùn)練方法的一個(gè)實(shí)施例的流程圖；