[發(fā)明專利]大數(shù)據(jù)平臺的FTP-Transport傳輸創(chuàng)建方法、系統(tǒng)、終端及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010380550.6
• 申請日: 2020-05-08
• 公開（公告）號: CN111698286A
• 公開（公告）日: 2020-09-22
• 發(fā)明（設(shè)計）人: 李恒
• 申請（專利權(quán)）人: 蘇州浪潮智能科技有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06F16/13;G06F16/182;G06F16/25;G06F16/28;H04L29/06
• 代理公司: 濟南舜源專利事務(wù)所有限公司 37205
• 代理人: 孫玉營

本發(fā)明提供一種大數(shù)據(jù)平臺的FTP?Transport傳輸創(chuàng)建方法、系統(tǒng)、終端及存儲介質(zhì)，包括：開通大數(shù)據(jù)平臺的安全通信協(xié)議；創(chuàng)建分布式文件系統(tǒng)數(shù)據(jù)節(jié)點的源文件目錄，創(chuàng)建分布式文件系統(tǒng)目錄并創(chuàng)建數(shù)據(jù)倉庫工具數(shù)據(jù)表；校驗并確認(rèn)具有通過工作節(jié)點安全外殼協(xié)議的權(quán)限；添加文件服務(wù)并通過文件服務(wù)創(chuàng)建工作節(jié)點經(jīng)分布式文件系統(tǒng)到所述數(shù)據(jù)倉庫工具的通道；通過所述通道將工作節(jié)點的數(shù)據(jù)上傳至數(shù)據(jù)倉庫工具數(shù)據(jù)表。本發(fā)明能夠?qū)崿F(xiàn)在大數(shù)據(jù)平臺利用FTP?Transport傳輸文件，滿足文件傳輸?shù)陌踩浴⒓磿r性以及多端對多端的跨集群文件傳輸。

技術(shù)領(lǐng)域

本發(fā)明涉及服務(wù)器技術(shù)領(lǐng)域，具體涉及一種大數(shù)據(jù)平臺的FTP-Transport傳輸創(chuàng)建方法、系統(tǒng)、終端及存儲介質(zhì)。

背景技術(shù)

FTP、SFTP、FTPS是File Transfer Protocol(文件傳輸協(xié)議)、一種多傳輸協(xié)議、安全文件傳送協(xié)議。FTP、SFTP、FTPS是三種常用的安全通信協(xié)議，能夠相對安全地傳輸文件。

但是，目前FTP、SFTP、FTPS僅可以實現(xiàn)一個節(jié)點向另一個節(jié)點的端對端的文件傳輸，無法適應(yīng)大數(shù)據(jù)平臺數(shù)據(jù)高即時性、高并發(fā)、多對多傳輸?shù)膱鼍啊Ｒ虼耍诖髷?shù)據(jù)平臺，無法利用這三種安全通信協(xié)議將數(shù)據(jù)正常傳輸至HDFS和hive，對于一些實時數(shù)據(jù)無法及時更新到數(shù)據(jù)中心，不適用大數(shù)據(jù)的高性能、高可靠、安全的數(shù)據(jù)交換，也不適用集群內(nèi)部或集群間進(jìn)行文件傳輸。

發(fā)明內(nèi)容

針對現(xiàn)有技術(shù)的上述不足，本發(fā)明提供一種大數(shù)據(jù)平臺的FTP-Transport傳輸創(chuàng)建方法、系統(tǒng)、終端及存儲介質(zhì)，以解決上述技術(shù)問題。

第一方面，本發(fā)明提供一種大數(shù)據(jù)平臺的FTP-Transport傳輸創(chuàng)建方法，包括：

開通大數(shù)據(jù)平臺的安全通信協(xié)議；

創(chuàng)建分布式文件系統(tǒng)數(shù)據(jù)節(jié)點的源文件目錄，創(chuàng)建分布式文件系統(tǒng)目錄并創(chuàng)建數(shù)據(jù)倉庫工具數(shù)據(jù)表；

校驗并確認(rèn)具有通過工作節(jié)點安全外殼協(xié)議的權(quán)限；

添加文件服務(wù)并通過文件服務(wù)創(chuàng)建工作節(jié)點經(jīng)分布式文件系統(tǒng)到所述數(shù)據(jù)倉庫工具的通道；

通過所述通道將工作節(jié)點的數(shù)據(jù)上傳至數(shù)據(jù)倉庫工具數(shù)據(jù)表。

進(jìn)一步的，所述開通大數(shù)據(jù)平臺的安全通信協(xié)議，包括：

在大數(shù)據(jù)平臺的安全通信服務(wù)節(jié)點開通安全通信協(xié)議，所述安全通信協(xié)議為FTP、FTPS和SFTP協(xié)議中的任意一種；

在大數(shù)據(jù)平臺的安全通信服務(wù)節(jié)點添加安全通信使用賬戶；

創(chuàng)建安全通信服務(wù)組件的存儲數(shù)據(jù)庫。

進(jìn)一步的，所述創(chuàng)建分布式文件系統(tǒng)數(shù)據(jù)節(jié)點的源文件路徑，包括：

通過所述安全通信使用賬戶在大數(shù)據(jù)平臺的數(shù)據(jù)節(jié)點創(chuàng)建源目錄，所述安全通信使用賬戶具備創(chuàng)建源目錄的權(quán)限。

進(jìn)一步的，所述校驗并確認(rèn)具有通過工作節(jié)點安全外殼協(xié)議的權(quán)限，包括判斷所述工作節(jié)點是否屬于所述大數(shù)據(jù)平臺集群：

若否，則獲取所述工作節(jié)點的安全外殼協(xié)議授權(quán)并在所述工作節(jié)點安裝安全通信文件包。

進(jìn)一步的，所述通過文件服務(wù)創(chuàng)建工作節(jié)點經(jīng)分布式文件系統(tǒng)到所述數(shù)據(jù)倉庫工具的通道，包括：

根據(jù)工作節(jié)點IP、中間節(jié)點IP、源文件目錄路徑、分布式文件系統(tǒng)目錄路徑和數(shù)據(jù)倉庫工具數(shù)據(jù)表路徑，構(gòu)建由工作節(jié)點、中間節(jié)點、分布式文件系統(tǒng)和數(shù)據(jù)倉庫工具數(shù)據(jù)表依次組成的通道。

進(jìn)一步的，所述方法還包括：

從工作節(jié)點上傳與數(shù)據(jù)倉庫工具數(shù)據(jù)表結(jié)構(gòu)一致的源數(shù)據(jù)；