[發(fā)明專利]并行數(shù)據(jù)加載方法和系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201611150991.7
• 申請日: 2016-12-14
• 公開（公告）號: CN106790489B
• 公開（公告）日: 2020-12-22
• 發(fā)明（設(shè)計）人: 楊卓慧
• 申請（專利權(quán)）人: 成都華為技術(shù)有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06F16/25
• 代理公司: 北京同立鈞成知識產(chǎn)權(quán)代理有限公司 11205
• 代理人: 宋揚(yáng);劉芳

1.一種并行數(shù)據(jù)加載方法，其特征在于，所述方法應(yīng)用于并行數(shù)據(jù)加載系統(tǒng)，所述系統(tǒng)包括：M個主節(jié)點(diǎn)、N個數(shù)據(jù)節(jié)點(diǎn)和R個文件傳輸協(xié)議FTP服務(wù)器，其中，所述M為大于等于1的整數(shù)，所述N為大于等于2的整數(shù)，所述R為大于等于1的整數(shù)，所述M個主節(jié)點(diǎn)與所述N個數(shù)據(jù)節(jié)點(diǎn)以及所述R個FTP服務(wù)器通信連接，所述N個數(shù)據(jù)節(jié)點(diǎn)和所述R個FTP服務(wù)器通信連接；

所述方法包括：

主節(jié)點(diǎn)向至少兩個數(shù)據(jù)節(jié)點(diǎn)發(fā)送加載指示信息，所述加載指示信息用于指示所述至少兩個數(shù)據(jù)節(jié)點(diǎn)加載所述FTP服務(wù)器中存儲的數(shù)據(jù)；

所述主節(jié)點(diǎn)接收所述至少兩個數(shù)據(jù)節(jié)點(diǎn)發(fā)送的任務(wù)分配請求信息，所述任務(wù)分配請求信息用于請求所述主節(jié)點(diǎn)為所述數(shù)據(jù)節(jié)點(diǎn)分配加載文件信息；

所述主節(jié)點(diǎn)向每個數(shù)據(jù)節(jié)點(diǎn)發(fā)送所述數(shù)據(jù)節(jié)點(diǎn)對應(yīng)的加載文件信息；

所述數(shù)據(jù)節(jié)點(diǎn)根據(jù)所述加載文件信息從所述FTP服務(wù)器下載所述加載文件信息對應(yīng)的數(shù)據(jù)塊進(jìn)行加載；

其中，在所述主節(jié)點(diǎn)向每個數(shù)據(jù)節(jié)點(diǎn)發(fā)送所述數(shù)據(jù)節(jié)點(diǎn)對應(yīng)的加載文件信息之前，還包括：

所述主節(jié)點(diǎn)根據(jù)所述至少兩個數(shù)據(jù)節(jié)點(diǎn)發(fā)送任務(wù)分配請求信息的頻率，確定為每個數(shù)據(jù)節(jié)點(diǎn)分配的加載文件的大小。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：

若所述主節(jié)點(diǎn)確定待加載文件已經(jīng)全部加載完畢，向所述至少兩個數(shù)據(jù)節(jié)點(diǎn)發(fā)送加載完成指示信息。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，還包括：

若所述主節(jié)點(diǎn)確定待加載文件已經(jīng)全部加載完畢，向客戶端發(fā)送加載完成指示信息。

4.根據(jù)權(quán)利要求1-3任一項(xiàng)所述的方法，其特征在于，所述主節(jié)點(diǎn)根據(jù)所述至少兩個數(shù)據(jù)節(jié)點(diǎn)發(fā)送任務(wù)分配請求信息的頻率，確定為每個數(shù)據(jù)節(jié)點(diǎn)分配的加載文件的大小之前，還包括：

所述主節(jié)點(diǎn)將待加載文件分割為多個數(shù)據(jù)塊，每個數(shù)據(jù)塊對應(yīng)一個所述加載文件信息。

5.一種并行數(shù)據(jù)加載系統(tǒng)，其特征在于，包括：

M個主節(jié)點(diǎn)、N個數(shù)據(jù)節(jié)點(diǎn)和R個文件傳輸協(xié)議FTP服務(wù)器，其中，所述M為大于等于1的整數(shù)，所述N為大于等于2的整數(shù)，所述R為大于等于1的整數(shù)，所述M個主節(jié)點(diǎn)與所述N個數(shù)據(jù)節(jié)點(diǎn)以及所述R個FTP服務(wù)器通信連接，所述N個數(shù)據(jù)節(jié)點(diǎn)和所述R個FTP服務(wù)器通信連接；

其中，

所述FTP服務(wù)器，用于存儲待加載文件；

所述主節(jié)點(diǎn)，用于向至少兩個數(shù)據(jù)節(jié)點(diǎn)發(fā)送加載指示信息，所述加載指示信息用于指示所述至少兩個數(shù)據(jù)節(jié)點(diǎn)加載所述FTP服務(wù)器中存儲的數(shù)據(jù)；

所述主節(jié)點(diǎn)，還用于接收所述至少兩個數(shù)據(jù)節(jié)點(diǎn)發(fā)送的任務(wù)分配請求信息，所述任務(wù)分配請求信息用于請求所述主節(jié)點(diǎn)為所述數(shù)據(jù)節(jié)點(diǎn)分配加載文件信息；

所述主節(jié)點(diǎn)，還用于向每個數(shù)據(jù)節(jié)點(diǎn)發(fā)送所述數(shù)據(jù)節(jié)點(diǎn)對應(yīng)的加載文件信息；

所述數(shù)據(jù)節(jié)點(diǎn)，用于根據(jù)所述加載文件信息從所述FTP服務(wù)器下載所述加載文件信息對應(yīng)的數(shù)據(jù)塊進(jìn)行加載；

其中，所述主節(jié)點(diǎn)還用于根據(jù)所述至少兩個數(shù)據(jù)節(jié)點(diǎn)發(fā)送任務(wù)分配請求信息的頻率，確定為每個數(shù)據(jù)節(jié)點(diǎn)分配的加載文件的大小。

6.根據(jù)權(quán)利要求5所述的系統(tǒng)，其特征在于，

所述主節(jié)點(diǎn)還用于確定待加載文件已經(jīng)全部加載完畢，向所述至少兩個數(shù)據(jù)節(jié)點(diǎn)發(fā)送加載完成指示信息。

7.根據(jù)權(quán)利要求6所述的系統(tǒng)，其特征在于，

所述主節(jié)點(diǎn)還用于接收客戶端發(fā)送的加載指示信息，所述加載指示信息中包含所述待加載文件的信息。

8.根據(jù)權(quán)利要求7所述的系統(tǒng)，其特征在于，

所述主節(jié)點(diǎn)還用于確定待加載文件已經(jīng)全部加載完畢，向所述客戶端發(fā)送加載完成指示信息。

9.根據(jù)權(quán)利要求5-8任一項(xiàng)所述的系統(tǒng)，其特征在于，

所述主節(jié)點(diǎn)還用于將待加載文件分割為多個數(shù)據(jù)塊，每個數(shù)據(jù)塊對應(yīng)一個所述加載文件信息。