[發(fā)明專利]一種插件式分布式機(jī)器學(xué)習(xí)計(jì)算框架及其數(shù)據(jù)處理方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201810004566.X
• 申請(qǐng)日: 2018-01-03
• 公開（公告）號(hào): CN108280522B
• 公開（公告）日: 2021-08-20
• 發(fā)明（設(shè)計(jì)）人: 鄭培凱;馬超;倪焱;肖臻
• 申請(qǐng)（專利權(quán)）人: 北京大學(xué)
• 主分類號(hào): G06N20/00
• 分類號(hào): G06N20/00;G06F8/20;H04L29/08
• 代理公司: 北京君尚知識(shí)產(chǎn)權(quán)代理有限公司 11200
• 代理人: 司立彬

1.一種插件式分布式機(jī)器學(xué)習(xí)計(jì)算框架，其特征在于，包括一個(gè)主控制節(jié)點(diǎn)、多個(gè)服務(wù)器節(jié)點(diǎn)和多個(gè)工作節(jié)點(diǎn)；其中，每一工作節(jié)點(diǎn)分別與主控制節(jié)點(diǎn)、各服務(wù)器節(jié)點(diǎn)通信連接，各服務(wù)器節(jié)點(diǎn)分別與主控制節(jié)點(diǎn)通信連接；每個(gè)服務(wù)器節(jié)點(diǎn)存儲(chǔ)機(jī)器學(xué)習(xí)模型的一部分參數(shù)，各服務(wù)器節(jié)點(diǎn)存儲(chǔ)的參數(shù)組成該機(jī)器學(xué)習(xí)模型的全部待訓(xùn)練的參數(shù)；每一工作節(jié)點(diǎn)存儲(chǔ)一部分訓(xùn)練數(shù)據(jù)，工作節(jié)點(diǎn)根據(jù)本地存儲(chǔ)的訓(xùn)練數(shù)據(jù)從對(duì)應(yīng)服務(wù)器獲取相關(guān)的參數(shù)，然后計(jì)算所獲取參數(shù)的更新量后將參數(shù)更新量回傳給對(duì)應(yīng)服務(wù)器；主控制節(jié)點(diǎn)記錄服務(wù)器節(jié)點(diǎn)和工作節(jié)點(diǎn)的節(jié)點(diǎn)信息；每一所述工作節(jié)點(diǎn)中設(shè)置一核心實(shí)例進(jìn)程和一參數(shù)代理進(jìn)程；所述核心實(shí)例進(jìn)程通過(guò)所述參數(shù)代理進(jìn)程與所述服務(wù)器節(jié)點(diǎn)進(jìn)行通信，所述核心實(shí)例進(jìn)程和所述參數(shù)代理進(jìn)程之間通過(guò)一個(gè)與編程語(yǔ)言無(wú)關(guān)的通道進(jìn)行數(shù)據(jù)傳輸和同步；其中所述核心實(shí)例進(jìn)程通過(guò)所述通道向所述參數(shù)代理進(jìn)程請(qǐng)求參數(shù)，所述參數(shù)代理進(jìn)程查詢緩存中是否有所請(qǐng)求的參數(shù)，如果有，則將對(duì)應(yīng)的緩存數(shù)據(jù)通過(guò)所述通道返回給所述核心實(shí)例進(jìn)程，如果沒(méi)有緩存則向?qū)?yīng)服務(wù)器節(jié)點(diǎn)請(qǐng)求相關(guān)參數(shù)返回給所述核心實(shí)例進(jìn)程，然后所述核心實(shí)例進(jìn)程根據(jù)返回的數(shù)據(jù)訓(xùn)練更新參數(shù)并將更新參數(shù)結(jié)果和下一輪需計(jì)算參數(shù)的參數(shù)請(qǐng)求發(fā)送給所述參數(shù)代理進(jìn)程，所述參數(shù)代理進(jìn)程檢查該參數(shù)請(qǐng)求是否滿足一致性的要求，如果滿足返回該參數(shù)請(qǐng)求對(duì)應(yīng)的參數(shù)，否則參數(shù)代理進(jìn)程向服務(wù)器節(jié)點(diǎn)請(qǐng)求參數(shù)。

2.如權(quán)利要求1所述的插件式分布式機(jī)器學(xué)習(xí)計(jì)算框架，其特征在于，所述通道包括一數(shù)據(jù)通道和兩個(gè)信號(hào)通道；其中，所述數(shù)據(jù)通道負(fù)責(zé)核心實(shí)例進(jìn)程和參數(shù)代理進(jìn)程之間的參數(shù)數(shù)據(jù)傳輸，所述信號(hào)通道負(fù)責(zé)對(duì)數(shù)據(jù)進(jìn)行同步；所述核心實(shí)例進(jìn)程將更新參數(shù)結(jié)果、當(dāng)前迭代輪次以及請(qǐng)求參數(shù)的下標(biāo)寫入數(shù)據(jù)通道，參數(shù)代理進(jìn)程從數(shù)據(jù)通道獲取更新參數(shù)結(jié)果異步與服務(wù)器節(jié)點(diǎn)同步然后將核心實(shí)例進(jìn)程請(qǐng)求的參數(shù)寫入數(shù)據(jù)通道。

3.如權(quán)利要求2所述的插件式分布式機(jī)器學(xué)習(xí)計(jì)算框架，其特征在于，使用工作節(jié)點(diǎn)的基于內(nèi)存文件系統(tǒng)作為數(shù)據(jù)通道，使用工作節(jié)點(diǎn)的命名通道FIFO作為信號(hào)通道。

4.如權(quán)利要求1所述的插件式分布式機(jī)器學(xué)習(xí)計(jì)算框架，其特征在于，所述參數(shù)代理進(jìn)程將若干條單條數(shù)據(jù)打包成一組消息的形式發(fā)送給所述服務(wù)器節(jié)點(diǎn)；所述參數(shù)代理進(jìn)程使用(start-key,value-list)的消息形式與所述服務(wù)器節(jié)點(diǎn)進(jìn)行通信；其中，start-key為更新參數(shù)的起始下標(biāo)，value-list為參數(shù)更新列表。

5.如權(quán)利要求1所述的插件式分布式機(jī)器學(xué)習(xí)計(jì)算框架，其特征在于，所述服務(wù)器節(jié)點(diǎn)使用連續(xù)的空間存儲(chǔ)參數(shù)，空缺的參數(shù)用零替代。

6.如權(quán)利要求1所述的插件式分布式機(jī)器學(xué)習(xí)計(jì)算框架，其特征在于，所述主控制節(jié)點(diǎn)設(shè)有多種等級(jí)的容錯(cuò)機(jī)制；所述主控制節(jié)點(diǎn)根據(jù)不同的容錯(cuò)等級(jí)選擇不同的容錯(cuò)機(jī)制。

7.一種基于權(quán)利要求1所述插件式分布式機(jī)器學(xué)習(xí)計(jì)算框架的數(shù)據(jù)處理方法，其步驟包括：

1)初始迭代時(shí)，主控制節(jié)點(diǎn)將機(jī)器學(xué)習(xí)模型的待訓(xùn)練參數(shù)劃分到各服務(wù)器節(jié)點(diǎn)，各服務(wù)器節(jié)點(diǎn)存儲(chǔ)的參數(shù)組成該機(jī)器學(xué)習(xí)模型的全部待訓(xùn)練參數(shù)；主控制節(jié)點(diǎn)將該機(jī)器學(xué)習(xí)模型的機(jī)器學(xué)習(xí)任務(wù)和訓(xùn)練數(shù)據(jù)劃分到各工作節(jié)點(diǎn)上；工作節(jié)點(diǎn)從對(duì)應(yīng)服務(wù)器獲取相關(guān)的參數(shù)，然后工作節(jié)點(diǎn)利用本地存儲(chǔ)的訓(xùn)練數(shù)據(jù)計(jì)算所獲取參數(shù)的更新量后將參數(shù)更新量回傳給對(duì)應(yīng)服務(wù)器節(jié)點(diǎn)；服務(wù)器節(jié)點(diǎn)根據(jù)收到的參數(shù)更新量更新該服務(wù)器節(jié)點(diǎn)上的參數(shù)；

2)后續(xù)每一次迭代過(guò)程中，工作節(jié)點(diǎn)的核心實(shí)例進(jìn)程通過(guò)通道向參數(shù)代理進(jìn)程請(qǐng)求訓(xùn)練所需參數(shù)，所述參數(shù)代理進(jìn)程查詢緩存中是否有所請(qǐng)求的數(shù)據(jù)，如果有，則將對(duì)應(yīng)的緩存數(shù)據(jù)通過(guò)所述通道返回給所述核心實(shí)例進(jìn)程，如果沒(méi)有緩存則向?qū)?yīng)服務(wù)器節(jié)點(diǎn)請(qǐng)求相關(guān)參數(shù)返回給所述核心實(shí)例進(jìn)程，然后所述核心實(shí)例進(jìn)程訓(xùn)練更新參數(shù)并將更新參數(shù)結(jié)果和下一輪需計(jì)算參數(shù)的參數(shù)請(qǐng)求發(fā)送給所述參數(shù)代理進(jìn)程，所述參數(shù)代理進(jìn)程檢查該參數(shù)請(qǐng)求是否滿足一致性的要求，如果滿足返回該參數(shù)請(qǐng)求對(duì)應(yīng)的數(shù)據(jù)，否則等待參數(shù)代理進(jìn)程向服務(wù)器節(jié)點(diǎn)獲取相關(guān)參數(shù)數(shù)據(jù)。

8.如權(quán)利要求7所述的方法，其特征在于，所述通道包括一數(shù)據(jù)通道和兩個(gè)信號(hào)通道；其中，所述數(shù)據(jù)通道負(fù)責(zé)核心實(shí)例進(jìn)程和參數(shù)代理進(jìn)程之間的數(shù)據(jù)傳輸，所述信號(hào)通道負(fù)責(zé)對(duì)數(shù)據(jù)進(jìn)行同步；所述核心實(shí)例進(jìn)程將更新參數(shù)結(jié)果、當(dāng)前迭代輪次以及請(qǐng)求參數(shù)的下標(biāo)寫入數(shù)據(jù)通道，參數(shù)代理進(jìn)程從數(shù)據(jù)通道獲取更新參數(shù)結(jié)果異步與服務(wù)器節(jié)點(diǎn)同步然后將核心實(shí)例進(jìn)程請(qǐng)求的參數(shù)寫入數(shù)據(jù)通道。