[實(shí)用新型]數(shù)據(jù)處理裝置和服務(wù)器

有效

• 申請?zhí)枺?/td>: 201720043845.8
• 申請日: 2017-01-13
• 公開（公告）號: CN206400534U
• 公開（公告）日: 2017-08-11
• 發(fā)明（設(shè)計(jì)）人: 桂文明
• 申請（專利權(quán)）人: 算豐科技（北京）有限公司
• 主分類號: G06F15/173
• 分類號: G06F15/173;G06N3/063
• 代理公司: 北京思元知識產(chǎn)權(quán)代理事務(wù)所(普通合伙)11598
• 代理人: 楊惠

技術(shù)領(lǐng)域

本實(shí)用新型涉及數(shù)據(jù)處理技術(shù)，尤其涉及一種數(shù)據(jù)處理裝置和服務(wù)器。

背景技術(shù)

目前，深度學(xué)習(xí)是機(jī)器學(xué)習(xí)研究中的一個(gè)新的領(lǐng)域，是所有高科技研究和開發(fā)中最熱門的領(lǐng)域之一，其動機(jī)在于建立、模擬人腦進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，它模仿人腦的機(jī)制來解釋數(shù)據(jù)，例如圖像，聲音和文本。

深度學(xué)習(xí)的關(guān)鍵是DNN(Deep Neural Network，深度神經(jīng)網(wǎng)絡(luò))，由于DNN具有深層結(jié)構(gòu)、數(shù)千萬參數(shù)需要學(xué)習(xí)，因此DNN的預(yù)測和訓(xùn)練過程需要巨大的計(jì)算能力。通常，通過部署在多個(gè)芯片上的計(jì)算節(jié)點(diǎn)構(gòu)成DNN，提高DNN的計(jì)算能力。

在DNN訓(xùn)練過程中，經(jīng)常需要CPU(中央處理單元)和DNN之間傳輸Broadcast(廣播)消息和Gather(收集)消息。現(xiàn)有技術(shù)中，是將所有芯片串聯(lián)，構(gòu)成一維芯片鏈，再將CPU與一維芯片鏈中的首芯片連接，Broadcast消息由CPU從一維芯片鏈的首芯片依次傳送到一維芯片鏈的末芯片；Gather消息分別則從一維芯片鏈的末芯片依次傳輸?shù)绞仔酒?，再傳輸給CPU。

在實(shí)現(xiàn)本實(shí)用新型的過程中，實(shí)用新型人發(fā)現(xiàn)，現(xiàn)有技術(shù)一維芯片鏈至少存在以下問題：

當(dāng)一維芯片鏈包括的芯片個(gè)數(shù)較多時(shí)，Broadcast和Gather消息分別需要從一維芯片鏈的一端依次傳輸?shù)搅硪欢耍枰?jīng)過較多芯片的轉(zhuǎn)發(fā)，需要較長的消息傳輸時(shí)間，從而提升了DNN的數(shù)據(jù)處理時(shí)延，降低了DNN的數(shù)據(jù)處理效率。

實(shí)用新型內(nèi)容

本實(shí)用新型實(shí)施例所要解決的其中一個(gè)技術(shù)問題是，提供一種數(shù)據(jù)處理裝置和服務(wù)器，以減少通信數(shù)據(jù)的傳輸時(shí)間，提高數(shù)據(jù)處理效率。

為解決上述技術(shù)問題，根據(jù)本實(shí)用新型實(shí)施例的一個(gè)方面，提供一種數(shù)據(jù)處理裝置，包括M行節(jié)點(diǎn)芯片，每行節(jié)點(diǎn)芯片包括N個(gè)節(jié)點(diǎn)芯片；所述M行節(jié)點(diǎn)芯片中的首節(jié)點(diǎn)芯片依次連接，形成首列節(jié)點(diǎn)芯片；其中，M、N分別為大于1的整數(shù)；

所述首列節(jié)點(diǎn)芯片中的各首節(jié)點(diǎn)芯片，按照從第1行至第M行的順序，依次傳輸處理第一通信數(shù)據(jù)；以及按照從第1行至第M行的順序、或者從第M行至第1行的順序，依次傳輸各節(jié)點(diǎn)芯片產(chǎn)生的第二通信數(shù)據(jù)；

所述每行節(jié)點(diǎn)芯片中的各節(jié)點(diǎn)芯片，按照從首節(jié)點(diǎn)芯片至末節(jié)點(diǎn)芯片的順序，依次傳輸處理所述第一通信數(shù)據(jù)；以及按照從末節(jié)點(diǎn)芯片至首節(jié)點(diǎn)芯片的順序，依次傳輸各節(jié)點(diǎn)芯片產(chǎn)生的第二通信數(shù)據(jù)。

可選地，上述各實(shí)施例的數(shù)據(jù)處理裝置中，所述第1行節(jié)點(diǎn)芯片中的首節(jié)點(diǎn)芯片設(shè)置有與主板連接的第一外部接口，通過所述第一外部接口接收主板發(fā)送的所述第一通信數(shù)據(jù)；

所述第M行節(jié)點(diǎn)芯片中的首節(jié)點(diǎn)芯片設(shè)置有與主板連接的第二外部接口，通過所述第二外部接口向主板發(fā)送收集到的所有節(jié)點(diǎn)芯片的第二通信數(shù)據(jù)；

所述首列節(jié)點(diǎn)芯片中的各首節(jié)點(diǎn)芯片，具體按照從第1行至第M行的順序，依次傳輸各節(jié)點(diǎn)芯片產(chǎn)生的第二通信數(shù)據(jù)。

可選地，上述各實(shí)施例的數(shù)據(jù)處理裝置中，還包括：

主機(jī)節(jié)點(diǎn)芯片，設(shè)置有與主板連接的第三外部接口，并分別與所述第1行和第M行節(jié)點(diǎn)芯片中的首節(jié)點(diǎn)芯片連接，通過所述第三外部接口接收主板發(fā)送的所述第一通信數(shù)

據(jù)并轉(zhuǎn)發(fā)給第1行節(jié)點(diǎn)芯片中的首節(jié)點(diǎn)芯片，以及接收第M行節(jié)點(diǎn)芯片中的首節(jié)點(diǎn)芯片收集的、所有節(jié)點(diǎn)芯片的第二通信數(shù)據(jù)并通過所述第三外部接口轉(zhuǎn)發(fā)給主板；

所述首列節(jié)點(diǎn)芯片中的各首節(jié)點(diǎn)芯片，具體按照從第1行至第M行的順序，依次傳輸各節(jié)點(diǎn)芯片產(chǎn)生的第二通信數(shù)據(jù)。

可選地，上述各實(shí)施例的數(shù)據(jù)處理裝置中，所述第1行節(jié)點(diǎn)芯片中的首節(jié)點(diǎn)芯片設(shè)置有與主板連接的第一外部接口，通過所述第一外部接口接收主板發(fā)送的所述第一通信數(shù)據(jù)，以及向主板發(fā)送收集到的所有節(jié)點(diǎn)芯片的第二通信數(shù)據(jù)；

所述首列節(jié)點(diǎn)芯片中的各首節(jié)點(diǎn)芯片，具體按照從第M行至第1行的順序，依次傳輸各節(jié)點(diǎn)芯片產(chǎn)生的第二通信數(shù)據(jù)。

可選地，上述各實(shí)施例的數(shù)據(jù)處理裝置中，還包括：

主機(jī)節(jié)點(diǎn)芯片，設(shè)置有與主板連接的第三外部接口，并與所述第1行節(jié)點(diǎn)芯片中的首節(jié)點(diǎn)芯片連接，通過所述第三外部接口接收主板發(fā)送的所述第一通信數(shù)據(jù)并轉(zhuǎn)發(fā)給第1行節(jié)點(diǎn)芯片中的首節(jié)點(diǎn)芯片，以及接收第1行節(jié)點(diǎn)芯片中的首節(jié)點(diǎn)芯片收集的、所有節(jié)點(diǎn)芯片的第二通信數(shù)據(jù)并通過所述第三外部接口轉(zhuǎn)發(fā)給主板；

所述首列節(jié)點(diǎn)芯片中的各首節(jié)點(diǎn)芯片，具體按照從第M行至第1行的順序，依次傳輸各節(jié)點(diǎn)芯片產(chǎn)生的第二通信數(shù)據(jù)。