[發(fā)明專利]控制數(shù)據(jù)使用順序的分布式機(jī)器學(xué)習(xí)系統(tǒng)及其方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201710310856.2
• 申請(qǐng)日: 2017-05-05
• 公開（公告）號(hào): CN107169513A
• 公開（公告）日: 2017-09-15
• 發(fā)明（設(shè)計(jì)）人: 戴文淵;楊強(qiáng);陳雨強(qiáng);焦英翔;石光川;涂威威
• 申請(qǐng)（專利權(quán)）人: 第四范式（北京）技術(shù)有限公司
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62
• 代理公司: 北京銘碩知識(shí)產(chǎn)權(quán)代理有限公司11286
• 代理人: 曾世驍,張?jiān)浦?/td>

1.一種在機(jī)器學(xué)習(xí)模型的訓(xùn)練過程中控制數(shù)據(jù)使用順序的分布式機(jī)器學(xué)習(xí)系統(tǒng)，包括：

多個(gè)節(jié)點(diǎn)裝置，其中，每個(gè)節(jié)點(diǎn)裝置用于針對(duì)各自被分配的一部分?jǐn)?shù)據(jù)來執(zhí)行機(jī)器學(xué)習(xí)分布式訓(xùn)練處理并向服務(wù)器提供通過執(zhí)行機(jī)器學(xué)習(xí)分布式訓(xùn)練處理所獲得的訓(xùn)練結(jié)果，以及

服務(wù)器，用于收集由所述多個(gè)節(jié)點(diǎn)裝置提供的訓(xùn)練結(jié)果，并基于收集到的訓(xùn)練結(jié)果來得到機(jī)器學(xué)習(xí)模型，

其中，與所有數(shù)據(jù)對(duì)應(yīng)的一輪迭代過程被劃分為多個(gè)保序訓(xùn)練階段，所述多個(gè)節(jié)點(diǎn)裝置在執(zhí)行每一輪迭代過程時(shí)，針對(duì)相同保序訓(xùn)練階段使用同樣的數(shù)據(jù)來執(zhí)行機(jī)器學(xué)習(xí)分布式訓(xùn)練處理，并且所述多個(gè)節(jié)點(diǎn)裝置在執(zhí)行每一輪迭代過程時(shí)，按照保序訓(xùn)練階段向服務(wù)器提供訓(xùn)練結(jié)果；

其中，每個(gè)節(jié)點(diǎn)裝置包括：數(shù)據(jù)管理模塊，用于按照配置的方式讀取數(shù)據(jù)，具體地，針對(duì)相同保序訓(xùn)練階段讀取同樣的數(shù)據(jù)以供節(jié)點(diǎn)裝置執(zhí)行機(jī)器學(xué)習(xí)分布式訓(xùn)練處理；每個(gè)節(jié)點(diǎn)裝置還包括：結(jié)果提供模塊，用于在每個(gè)保序訓(xùn)練階段的訓(xùn)練運(yùn)算完成之后，立即將得到的訓(xùn)練結(jié)果發(fā)送到服務(wù)器或者根據(jù)用于同步訓(xùn)練結(jié)果的指示信號(hào)將訓(xùn)練結(jié)果發(fā)送到服務(wù)器。

2.如權(quán)利要求1所述的分布式機(jī)器學(xué)習(xí)系統(tǒng)，其中，每個(gè)節(jié)點(diǎn)裝置包括：

存儲(chǔ)模塊，用于存儲(chǔ)至少一個(gè)數(shù)據(jù)塊，其中，每個(gè)數(shù)據(jù)塊包括預(yù)定數(shù)量的數(shù)據(jù)；

訓(xùn)練模塊，用于使用數(shù)據(jù)塊來執(zhí)行機(jī)器學(xué)習(xí)分布式訓(xùn)練處理；

數(shù)據(jù)管理模塊，用于針對(duì)相同保序訓(xùn)練階段，從存儲(chǔ)模塊讀取同樣的數(shù)據(jù)塊以提供給訓(xùn)練模塊使用；

結(jié)果提供模塊，用于按照保序訓(xùn)練階段向服務(wù)器提供訓(xùn)練結(jié)果。

3.如權(quán)利要求2所述的分布式機(jī)器學(xué)習(xí)系統(tǒng)，還包括：

數(shù)據(jù)管理服務(wù)器，用于從所述多個(gè)節(jié)點(diǎn)裝置的數(shù)據(jù)管理模塊分別接收指示數(shù)據(jù)塊被使用的使用報(bào)告，基于接收到的使用報(bào)告來產(chǎn)生用于在所述多個(gè)節(jié)點(diǎn)裝置之中的卡頓節(jié)點(diǎn)裝置與空閑節(jié)點(diǎn)裝置之間調(diào)度數(shù)據(jù)塊的使用的調(diào)度信號(hào)，并將產(chǎn)生的調(diào)度信號(hào)發(fā)送到卡頓節(jié)點(diǎn)裝置的數(shù)據(jù)管理模塊和/或空閑節(jié)點(diǎn)裝置的數(shù)據(jù)管理模塊。

4.如權(quán)利要求3所述的分布式機(jī)器學(xué)習(xí)系統(tǒng)，其中，所有數(shù)據(jù)被分布地存儲(chǔ)在所述多個(gè)節(jié)點(diǎn)裝置中，并且，所述調(diào)度信號(hào)用于控制向空閑節(jié)點(diǎn)裝置的數(shù)據(jù)管理模塊提供卡頓節(jié)點(diǎn)裝置的未使用的數(shù)據(jù)塊，使得空閑節(jié)點(diǎn)裝置的數(shù)據(jù)管理模塊將所述未使用的數(shù)據(jù)塊提供給空閑節(jié)點(diǎn)裝置的訓(xùn)練模塊使用。

5.如權(quán)利要求3所述的分布式機(jī)器學(xué)習(xí)系統(tǒng)，其中，所有數(shù)據(jù)被重復(fù)地存儲(chǔ)在所述多個(gè)節(jié)點(diǎn)裝置中，并且，所述調(diào)度信號(hào)用于控制向空閑節(jié)點(diǎn)裝置的數(shù)據(jù)管理模塊提供指示卡頓節(jié)點(diǎn)裝置的未使用的數(shù)據(jù)塊的標(biāo)識(shí)符，使得空閑節(jié)點(diǎn)裝置的數(shù)據(jù)管理模塊將所述標(biāo)識(shí)符所指示的未使用的數(shù)據(jù)塊提供給空閑節(jié)點(diǎn)裝置的訓(xùn)練模塊使用。