[發(fā)明專利]一種深度學(xué)習(xí)權(quán)值更新方法和系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201710900508.0
• 申請(qǐng)日: 2017-09-28
• 公開(kāi)（公告）號(hào): CN107463448A
• 公開(kāi)（公告）日: 2017-12-12
• 發(fā)明（設(shè)計(jì)）人: 宋書(shū)濤
• 申請(qǐng)（專利權(quán)）人: 鄭州云海信息技術(shù)有限公司
• 主分類號(hào): G06F9/50
• 分類號(hào): G06F9/50;G06N99/00
• 代理公司: 北京安信方達(dá)知識(shí)產(chǎn)權(quán)代理有限公司11262
• 代理人: 李紅爽,李丹

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)互聯(lián)網(wǎng)技術(shù)，尤指一種適用于計(jì)算機(jī)集群的深度學(xué)習(xí)權(quán)值更新方法和系統(tǒng)。

背景技術(shù)

當(dāng)前社會(huì)人類的數(shù)據(jù)大爆炸，人工智能技術(shù)不斷發(fā)展，相繼出現(xiàn)了Caffe、Tensorflow、Cntk、Caffe-MPI等深度學(xué)習(xí)框架，但是在擴(kuò)展性方面，有的不支持多機(jī)、有的擴(kuò)展性很差，但是越來(lái)越大的數(shù)據(jù)量與越來(lái)越復(fù)雜的深度學(xué)習(xí)網(wǎng)絡(luò)對(duì)深度學(xué)習(xí)框架的擴(kuò)展性提出越來(lái)越高的要求。

發(fā)明內(nèi)容

為了解決上述技術(shù)問(wèn)題，本發(fā)明提供了一種深度學(xué)習(xí)權(quán)值更新方法和系統(tǒng)。

為了達(dá)到本發(fā)明目的，本發(fā)明提供了一種深度學(xué)習(xí)權(quán)值更新方法，各個(gè)計(jì)算節(jié)點(diǎn)通過(guò)高速網(wǎng)絡(luò)連接，該方法包括：

各個(gè)計(jì)算節(jié)點(diǎn)分別進(jìn)行前后向計(jì)算；

各計(jì)算節(jié)點(diǎn)收集自身與其他各個(gè)計(jì)算節(jié)點(diǎn)的前后向計(jì)算結(jié)果，進(jìn)行一次迭代的權(quán)值更新。

優(yōu)選的，各個(gè)計(jì)算節(jié)點(diǎn)分別進(jìn)行前后向計(jì)算的步驟包括：

創(chuàng)建求解器；

網(wǎng)絡(luò)層初始化；

權(quán)值偏移量計(jì)算；

前后向計(jì)算。

優(yōu)選的，所述各個(gè)計(jì)算節(jié)點(diǎn)還連接有共享存儲(chǔ)系統(tǒng)，該方法還包括：

各個(gè)計(jì)算節(jié)點(diǎn)向所述共享存儲(chǔ)系統(tǒng)讀寫(xiě)大規(guī)模計(jì)算數(shù)據(jù)。

優(yōu)選的，在進(jìn)行權(quán)值更新時(shí)，使用遠(yuǎn)程直接內(nèi)存訪問(wèn)RDMA技術(shù)進(jìn)訪問(wèn)其他計(jì)算節(jié)點(diǎn)。

優(yōu)選的，所述計(jì)算節(jié)點(diǎn)包含至少一個(gè)CPU和至少一個(gè)GPU。

優(yōu)選的，對(duì)于同一計(jì)算節(jié)點(diǎn)，不同CPU或不同GPU之間的前后向計(jì)算是相互獨(dú)立的。

優(yōu)選的，計(jì)算節(jié)點(diǎn)為每個(gè)參與計(jì)算的CPU或GPU開(kāi)啟獨(dú)立線程。

本發(fā)明還提供了一種深度學(xué)習(xí)權(quán)值更新系統(tǒng)，該系統(tǒng)包含計(jì)算集群系統(tǒng)和存儲(chǔ)系統(tǒng)，所述計(jì)算集群系統(tǒng)包含多個(gè)計(jì)算節(jié)點(diǎn)，所述多個(gè)計(jì)算節(jié)點(diǎn)之間、各計(jì)算節(jié)點(diǎn)與所述存儲(chǔ)系統(tǒng)之間通過(guò)高速網(wǎng)絡(luò)連接；

所述計(jì)算集群系統(tǒng)中的計(jì)算節(jié)點(diǎn)，用于分別進(jìn)行前后向計(jì)算，收集自身與其他各個(gè)計(jì)算節(jié)點(diǎn)的前后向計(jì)算結(jié)果，進(jìn)行一次迭代的權(quán)值更新。

優(yōu)選的，所述計(jì)算節(jié)點(diǎn)包含至少一個(gè)CPU和至少一個(gè)GPU。

本發(fā)明提供了一種深度學(xué)習(xí)權(quán)值更新的方法和系統(tǒng)，集群中的各個(gè)計(jì)算節(jié)點(diǎn)通過(guò)高速網(wǎng)絡(luò)連接，各個(gè)計(jì)算節(jié)點(diǎn)分別進(jìn)行前后向計(jì)算，然后各計(jì)算節(jié)點(diǎn)收集自身與其他各個(gè)計(jì)算節(jié)點(diǎn)的前后向計(jì)算結(jié)果，進(jìn)行一次迭代的權(quán)值更新。實(shí)現(xiàn)了具有高時(shí)效性的集群系統(tǒng)的計(jì)算節(jié)點(diǎn)間、計(jì)算節(jié)點(diǎn)內(nèi)的計(jì)算權(quán)值更新，從而減少了通信在深度學(xué)習(xí)訓(xùn)練中的比重，最大限度的利用CPU+GPU的計(jì)算性能，提高系統(tǒng)的整體運(yùn)行的效率，大大縮短程序的運(yùn)行時(shí)間，解決了現(xiàn)有深度學(xué)習(xí)框架不適應(yīng)系統(tǒng)應(yīng)用需求的問(wèn)題。

本發(fā)明的其它特征和優(yōu)點(diǎn)將在隨后的說(shuō)明書(shū)中闡述，并且，部分地從說(shuō)明書(shū)中變得顯而易見(jiàn)，或者通過(guò)實(shí)施本發(fā)明而了解。本發(fā)明的目的和其他優(yōu)點(diǎn)可通過(guò)在說(shuō)明書(shū)、權(quán)利要求書(shū)以及附圖中所特別指出的結(jié)構(gòu)來(lái)實(shí)現(xiàn)和獲得。

附圖說(shuō)明

附圖用來(lái)提供對(duì)本發(fā)明技術(shù)方案的進(jìn)一步理解，并且構(gòu)成說(shuō)明書(shū)的一部分，與本申請(qǐng)的實(shí)施例一起用于解釋本發(fā)明的技術(shù)方案，并不構(gòu)成對(duì)本發(fā)明技術(shù)方案的限制。

圖1為本發(fā)明的實(shí)施例一提供的一種深度學(xué)習(xí)權(quán)值更新系統(tǒng)的架構(gòu)示意圖；

圖2為本發(fā)明的實(shí)施例二提供的一種深度學(xué)習(xí)權(quán)值更新方法的流程示意圖；

圖3為本發(fā)明的實(shí)施例二中各計(jì)算節(jié)點(diǎn)進(jìn)程協(xié)同完成權(quán)值更新的原理示意圖。

具體實(shí)施方式

為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，下文中將結(jié)合附圖對(duì)本發(fā)明的實(shí)施例進(jìn)行詳細(xì)說(shuō)明。需要說(shuō)明的是，在不沖突的情況下，本申請(qǐng)中的實(shí)施例及實(shí)施例中的特征可以相互任意組合。

在附圖的流程圖示出的步驟可以在諸如一組計(jì)算機(jī)可執(zhí)行指令的計(jì)算機(jī)系統(tǒng)中執(zhí)行。并且，雖然在流程圖中示出了邏輯順序，但是在某些情況下，可以以不同于此處的順序執(zhí)行所示出或描述的步驟。

當(dāng)前社會(huì)人類的數(shù)據(jù)大爆炸，人工智能技術(shù)不斷發(fā)展，相繼出現(xiàn)了Caffe、Tensorflow、Cntk、Caffe-MPI等深度學(xué)習(xí)框架，但是在擴(kuò)展性方面，有的不支持多機(jī)、有的擴(kuò)展性很差，但是越來(lái)越大的數(shù)據(jù)量與越來(lái)越復(fù)雜的深度學(xué)習(xí)網(wǎng)絡(luò)對(duì)深度學(xué)習(xí)框架的擴(kuò)展性提出越來(lái)越高的要求。

為了解決上述問(wèn)題，本發(fā)明的實(shí)施例提供了一種基于集合通信的加速Caffe-MPI的深度學(xué)習(xí)權(quán)值更新的方法，充分利用GPU計(jì)算能力和高速通信網(wǎng)絡(luò)性能，以實(shí)現(xiàn)Caffe-MPI訓(xùn)練數(shù)據(jù)的加速效果，并解決當(dāng)前服務(wù)器計(jì)算系統(tǒng)計(jì)算網(wǎng)絡(luò)帶寬不足、內(nèi)存帶寬和容量小等情況，而無(wú)法對(duì)較大規(guī)模數(shù)據(jù)進(jìn)行處理的問(wèn)題。