[發(fā)明專利]用于機器學(xué)習(xí)架構(gòu)中的分層訓(xùn)練的方法、設(shè)備和介質(zhì)

有效

• 申請?zhí)枺?/td>: 201480060487.0
• 申請日: 2014-10-30
• 公開（公告）號: CN105683944B
• 公開（公告）日: 2019-08-09
• 發(fā)明（設(shè)計）人: 大衛(wèi)·羅杰·蓋伊;保羅·丘奇;羅素·奧康納;維奈·喬杜里;雅羅斯拉夫·利特斯
• 申請（專利權(quán)）人: 谷歌有限責(zé)任公司
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06N5/02
• 代理公司: 中原信達知識產(chǎn)權(quán)代理有限責(zé)任公司 11219
• 代理人: 李寶泉;周亞榮

1.一種用于機器學(xué)習(xí)架構(gòu)的分層訓(xùn)練的計算機實現(xiàn)的方法，所述方法由包括耦接到存儲器的處理器的訓(xùn)練計算設(shè)備來實現(xiàn)，所述方法包括：

由所述訓(xùn)練計算設(shè)備的接收組件接收多個數(shù)據(jù)元素，其中每個數(shù)據(jù)元素與時間戳相關(guān)聯(lián)；

由所述訓(xùn)練計算設(shè)備的第一確定組件確定用于分層的模型層棧的每個模型層的訓(xùn)練窗口；

由所述訓(xùn)練計算設(shè)備的第二確定組件通過識別具有與每個訓(xùn)練窗口相對應(yīng)的時間戳的所述數(shù)據(jù)元素，來確定用于每個訓(xùn)練窗口的多個訓(xùn)練數(shù)據(jù)元素；

由所述訓(xùn)練計算設(shè)備的識別組件識別用于每個模型層的在前檢查點，其中由父模型層生成用于每個模型層的在前檢查點；

由所述訓(xùn)練計算設(shè)備的訓(xùn)練組件利用所確定的用于每個模型層的訓(xùn)練數(shù)據(jù)元素和所識別的用于每個模型層的在前檢查點，訓(xùn)練每個模型層；

由所述訓(xùn)練計算設(shè)備的生成組件生成多個當(dāng)前檢查點，其中所述多個當(dāng)前檢查點中的每個當(dāng)前檢查點與模型層相關(guān)聯(lián)；

由所述訓(xùn)練計算設(shè)備的存儲組件將所述多個當(dāng)前檢查點存儲在所述存儲器處；以及

由所述訓(xùn)練計算設(shè)備使外部服務(wù)器和與至少一個模型層相關(guān)聯(lián)的至少一個當(dāng)前檢查點同步。

2.一種用于機器學(xué)習(xí)架構(gòu)的分層訓(xùn)練的計算機實現(xiàn)的方法，所述方法由包括耦接到存儲器的處理器的訓(xùn)練計算設(shè)備來實現(xiàn)，所述方法包括：

由所述訓(xùn)練計算設(shè)備的接收組件接收多個數(shù)據(jù)元素，其中每個數(shù)據(jù)元素與時間戳相關(guān)聯(lián)；

由所述訓(xùn)練計算設(shè)備的第一確定組件確定用于分層的模型層棧的每個模型層的訓(xùn)練窗口；

由所述訓(xùn)練計算設(shè)備的第二確定組件通過識別具有與每個訓(xùn)練窗口相對應(yīng)的時間戳的所述數(shù)據(jù)元素，來確定用于每個訓(xùn)練窗口的多個訓(xùn)練數(shù)據(jù)元素；

由所述訓(xùn)練計算設(shè)備的識別組件識別用于每個模型層的在前檢查點，其中由父模型層生成用于每個模型層的在前檢查點；

由所述訓(xùn)練計算設(shè)備的訓(xùn)練組件利用所確定的用于每個模型層的訓(xùn)練數(shù)據(jù)元素和所識別的用于每個模型層的在前檢查點，訓(xùn)練每個模型層；

由所述訓(xùn)練計算設(shè)備的生成組件生成多個當(dāng)前檢查點，其中所述多個當(dāng)前檢查點中的每個當(dāng)前檢查點與模型層相關(guān)聯(lián)；以及

由所述訓(xùn)練計算設(shè)備的存儲組件將所述多個當(dāng)前檢查點存儲在所述存儲器處，其中，存儲所述多個當(dāng)前檢查點進一步包括：

相對于所述多個數(shù)據(jù)元素，驗證所述多個當(dāng)前檢查點中的每個檢查點；以及

將所述多個當(dāng)前檢查點中經(jīng)驗證的檢查點存儲在所述存儲器處。

3.如權(quán)利要求1或2所述的方法，其中，訓(xùn)練每個模型層進一步包括：

通過應(yīng)用至少一個機器學(xué)習(xí)算法，使每個模型層適應(yīng)對每個模型層確定的訓(xùn)練數(shù)據(jù)元素。

4.如權(quán)利要求1或2所述的方法，其中，確定用于每個模型層的訓(xùn)練窗口進一步包括：

確定每個模型層的層深；

檢索訓(xùn)練模型配置，其中所述訓(xùn)練模型配置指定與每個層深相關(guān)聯(lián)的訓(xùn)練延遲記錄；

基于所述訓(xùn)練模型配置來識別與每個模型層的層深相關(guān)聯(lián)的訓(xùn)練延遲；以及

基于用于每個模型層的訓(xùn)練延遲來計算訓(xùn)練窗口。

5.如權(quán)利要求1所述的方法，其中所述外部服務(wù)器至少部分地基于同步的當(dāng)前檢查點來服務(wù)。

6.如權(quán)利要求1或2所述的方法，其中，生成多個當(dāng)前檢查點進一步包括：

確定用于每個模型層的層深；

檢索訓(xùn)練模型配置，其中所述訓(xùn)練模型配置指定與每個層深相關(guān)聯(lián)的訓(xùn)練持續(xù)時間；

基于所述訓(xùn)練模型配置來識別與每個模型層的層深相關(guān)聯(lián)的訓(xùn)練持續(xù)時間；

在所識別的訓(xùn)練持續(xù)時間內(nèi)訓(xùn)練所述模型層；以及

將每個模型層處理為當(dāng)前檢查點。

7.如權(quán)利要求1或2所述的方法，其中，生成多個當(dāng)前檢查點進一步包括：

清除用于每個模型層的在前檢查點；以及

重新訓(xùn)練每個模型層。

8.如權(quán)利要求1或2所述的方法，其中，接收多個數(shù)據(jù)元素進一步包括：

接收多個轉(zhuǎn)化數(shù)據(jù)，其中所述轉(zhuǎn)化數(shù)據(jù)表示與派發(fā)在線廣告相關(guān)聯(lián)的轉(zhuǎn)化活動。