[發(fā)明專利]一種模型訓(xùn)練中的數(shù)據(jù)更新方法、裝置及設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 201811331869.9
• 申請(qǐng)日: 2018-11-09
• 公開（公告）號(hào): CN109359120A
• 公開（公告）日: 2019-02-19
• 發(fā)明（設(shè)計(jì)）人: 宋孟楠
• 申請(qǐng)（專利權(quán)）人: 阿里巴巴集團(tuán)控股有限公司
• 主分類號(hào): G06F16/23
• 分類號(hào): G06F16/23;G06N3/08
• 代理公司: 北京國昊天誠知識(shí)產(chǎn)權(quán)代理有限公司 11315
• 代理人: 許振新;朱文杰

本說明書實(shí)施例公開了一種模型訓(xùn)練中的數(shù)據(jù)更新方法、裝置及設(shè)備，所述方法包括：獲取進(jìn)行模型訓(xùn)練的目標(biāo)深度網(wǎng)絡(luò)模型；將預(yù)定的輸入數(shù)據(jù)輸入到所述目標(biāo)深度網(wǎng)絡(luò)模型中得到相應(yīng)的輸出結(jié)果，并確定所述輸出結(jié)果對(duì)應(yīng)的誤差；如果所述誤差大于預(yù)定的誤差閾值，則根據(jù)所述目標(biāo)深度網(wǎng)絡(luò)模型的模型參數(shù)和模型訓(xùn)練信息，確定所述目標(biāo)深度網(wǎng)絡(luò)模型中待更新權(quán)值的目標(biāo)網(wǎng)絡(luò)層；停止更新所述目標(biāo)深度網(wǎng)絡(luò)模型中除所述目標(biāo)網(wǎng)絡(luò)層外的其它網(wǎng)絡(luò)層的權(quán)值，并更新所述目標(biāo)網(wǎng)絡(luò)層的權(quán)值。

技術(shù)領(lǐng)域

本說明書涉及計(jì)算機(jī)技術(shù)領(lǐng)域，尤其涉及一種模型訓(xùn)練中的數(shù)據(jù)更新方法、裝置及設(shè)備。

背景技術(shù)

機(jī)器學(xué)習(xí)是人工智能的中心，以人類的學(xué)習(xí)方式為基礎(chǔ)，構(gòu)建能夠模仿、完成人類學(xué)習(xí)行為的計(jì)算智能體，以期智能體能夠通過學(xué)習(xí)獲取新的常識(shí)或技能。作為機(jī)器學(xué)習(xí)中的一個(gè)新的領(lǐng)域，深度學(xué)習(xí)引起了廣泛關(guān)注，對(duì)于人工智能技術(shù)的發(fā)展擁有前所未有的重要性。

深度學(xué)習(xí)方法通過網(wǎng)絡(luò)建立深層次的非線性結(jié)構(gòu)，通過對(duì)海量樣本集數(shù)據(jù)多層特征的學(xué)習(xí)，以提高分類和預(yù)測的準(zhǔn)確性。當(dāng)前，深度學(xué)習(xí)的理論在各個(gè)場景落地開花，將人工智能推向高潮，深度學(xué)習(xí)的方法也在多個(gè)領(lǐng)域的各個(gè)業(yè)務(wù)線上得到了廣泛的應(yīng)用。但是，深度學(xué)習(xí)的成果是建立在大數(shù)據(jù)和充足的計(jì)算資源的基礎(chǔ)上的，其復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)耗費(fèi)著大量時(shí)間成本和計(jì)算成本，甚至制約了在一些場景上的應(yīng)用和推廣。深度學(xué)習(xí)的效率主要制約在模型訓(xùn)練階段，通常，對(duì)深度網(wǎng)絡(luò)模型的訓(xùn)練是通過對(duì)整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)采用全局訓(xùn)練參數(shù)進(jìn)行模型訓(xùn)練，但是，這種方式會(huì)存在大量的冗余計(jì)算，極大的耗費(fèi)了時(shí)間和計(jì)算成本，為此，需要提供一種能夠使得深度網(wǎng)絡(luò)模型訓(xùn)練的方法更加優(yōu)化，深度網(wǎng)絡(luò)模型的訓(xùn)練效率更高的技術(shù)方案。

發(fā)明內(nèi)容

本說明書實(shí)施例的目的是提供一種能夠使得深度網(wǎng)絡(luò)模型訓(xùn)練的方法更加優(yōu)化，深度網(wǎng)絡(luò)模型的訓(xùn)練效率更高的技術(shù)方案。

為了實(shí)現(xiàn)上述技術(shù)方案，本說明書實(shí)施例是這樣實(shí)現(xiàn)的：

本說明書實(shí)施例提供的一種模型訓(xùn)練中的數(shù)據(jù)更新方法，所述方法包括：

獲取進(jìn)行模型訓(xùn)練的目標(biāo)深度網(wǎng)絡(luò)模型；

將預(yù)定的輸入數(shù)據(jù)輸入到所述目標(biāo)深度網(wǎng)絡(luò)模型中得到相應(yīng)的輸出結(jié)果，并確定所述輸出結(jié)果對(duì)應(yīng)的誤差；

如果所述誤差大于預(yù)定的誤差閾值，則根據(jù)所述目標(biāo)深度網(wǎng)絡(luò)模型的模型參數(shù)和模型訓(xùn)練信息，確定所述目標(biāo)深度網(wǎng)絡(luò)模型中待更新權(quán)值的目標(biāo)網(wǎng)絡(luò)層；

停止更新所述目標(biāo)深度網(wǎng)絡(luò)模型中除所述目標(biāo)網(wǎng)絡(luò)層外的其它網(wǎng)絡(luò)層的權(quán)值，并更新所述目標(biāo)網(wǎng)絡(luò)層的權(quán)值。

可選地，所述根據(jù)所述目標(biāo)深度網(wǎng)絡(luò)模型的模型參數(shù)和模型訓(xùn)練信息，確定所述目標(biāo)深度網(wǎng)絡(luò)模型中待更新權(quán)值的目標(biāo)網(wǎng)絡(luò)層，包括：

根據(jù)所述目標(biāo)深度網(wǎng)絡(luò)模型的模型參數(shù)和模型訓(xùn)練信息，確定所述目標(biāo)深度網(wǎng)絡(luò)模型中每個(gè)網(wǎng)絡(luò)層的目標(biāo)參數(shù)數(shù)值，所述目標(biāo)參數(shù)數(shù)值用于表征所述網(wǎng)絡(luò)層的權(quán)值是否需要更新；

獲取所述目標(biāo)參數(shù)數(shù)值大于預(yù)定的參數(shù)閾值的網(wǎng)絡(luò)層，并將獲取的所述網(wǎng)絡(luò)層作為待更新權(quán)值的目標(biāo)網(wǎng)絡(luò)層。

可選地，所述方法還包括：

將更新所述目標(biāo)網(wǎng)絡(luò)層的權(quán)值后的目標(biāo)深度網(wǎng)絡(luò)模型作為獲取的進(jìn)行模型訓(xùn)練的目標(biāo)深度網(wǎng)絡(luò)模型。

可選地，所述模型參數(shù)至少包括所述目標(biāo)深度網(wǎng)絡(luò)模型中包含的網(wǎng)絡(luò)層的數(shù)量和全局迭代的步數(shù)，所述模型訓(xùn)練信息至少包括當(dāng)前進(jìn)行模型訓(xùn)練所處的迭代步數(shù)。

可選地，所述方法還包括：

如果所述誤差小于預(yù)定的誤差閾值，則停止對(duì)所述目標(biāo)深度網(wǎng)絡(luò)模型的模型訓(xùn)練。

可選地，所述目標(biāo)深度網(wǎng)絡(luò)模型為包含多個(gè)隱含網(wǎng)絡(luò)層的模型。