[發(fā)明專利]一種多數(shù)據(jù)源寫入的文件傳輸方法、裝置及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011607024.5
• 申請日: 2020-12-30
• 公開（公告）號: CN112632023A
• 公開（公告）日: 2021-04-09
• 發(fā)明（設(shè)計(jì)）人: 劉少凱;張碩;劉婷
• 申請（專利權(quán)）人: 北京浩瀚深度信息技術(shù)股份有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/178;G06F16/17
• 代理公司: 北京沁優(yōu)知識產(chǎn)權(quán)代理有限公司 11684
• 代理人: 另婧

本發(fā)明提供了一種能夠適用于多數(shù)據(jù)源寫入的文件傳輸方法、裝置及存儲介質(zhì)。具體的，所述多數(shù)據(jù)源寫入的文件傳輸方法包括以下步驟：接收線程數(shù)據(jù)；接收配置參數(shù)；根據(jù)配置參數(shù)，選擇傳輸方式，所述傳輸方式設(shè)置有多種；接收目標(biāo)文件；根據(jù)配置參數(shù)及線程數(shù)據(jù)，傳輸目標(biāo)文件。采用上述方案，能夠?qū)崿F(xiàn)對目標(biāo)文件的多種數(shù)據(jù)源寫入的文件傳輸方式，通過線程數(shù)據(jù)及配置參數(shù)的設(shè)置提供多線程傳輸方式，使用者可通過修改配置參數(shù)來調(diào)整傳輸過程，來解決文件傳輸堆積或者計(jì)算和存儲資源浪費(fèi)的問題。

技術(shù)領(lǐng)域：

本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，尤其涉及一種多數(shù)據(jù)源寫入的文件傳輸方法、裝置及存儲介質(zhì)。

背景技術(shù)：

在目前的計(jì)算機(jī)技術(shù)領(lǐng)域中，涉及l(fā)inux本地文件傳輸至HDFS、Kafka、SFTPServer等節(jié)點(diǎn)或集群時(shí)，主要采用HDFS、Kafka、SFTP的原生命令或使用Flume開源工具，并且依賴使用HDFS、Kafka、SFTP的原生命令進(jìn)行手動操作，實(shí)際使用時(shí)操作不便，并且在生產(chǎn)環(huán)境中使用原生命令進(jìn)行逐個(gè)文件傳輸效率低，無法進(jìn)行批量上傳，也無法靈活配置傳輸效率。

同時(shí)，使用開源工具進(jìn)行文件傳輸，如Flume，其配置繁瑣，易出現(xiàn)source、channel、sink的關(guān)系在配置文件內(nèi)相互交織的問題，不便于配置和管理，且文件傳輸速度慢，易產(chǎn)生文件堆積，浪費(fèi)存儲資源；其次，無法通過修改配置選項(xiàng)靈活調(diào)整傳輸能力和傳輸速度。

因此，本領(lǐng)域亟需一種多數(shù)據(jù)源寫入的文件傳輸方法、裝置及存儲介質(zhì)。

有鑒于此，提出本發(fā)明。

發(fā)明內(nèi)容：

本發(fā)明的目的在于提供一種能夠適用于多數(shù)據(jù)源寫入的文件傳輸方法、裝置及存儲介質(zhì)，以解決現(xiàn)有技術(shù)中的至少一項(xiàng)技術(shù)問題。

在本發(fā)明的第一方面，提供了一種多數(shù)據(jù)源寫入的文件傳輸方法。

具體的，所述多數(shù)據(jù)源寫入的文件傳輸方法包括以下步驟：

接收線程數(shù)據(jù)；

接收配置參數(shù)；

根據(jù)配置參數(shù)，選擇傳輸方式，所述傳輸方式設(shè)置有多種；

接收目標(biāo)文件；

根據(jù)配置參數(shù)及線程數(shù)據(jù)，傳輸目標(biāo)文件。

采用上述方案，能夠?qū)崿F(xiàn)對目標(biāo)文件的多種數(shù)據(jù)源寫入的文件傳輸方式，通過線程數(shù)據(jù)及配置參數(shù)的設(shè)置提供多線程傳輸方式，使用者可通過修改配置參數(shù)來調(diào)整傳輸過程，來解決文件傳輸堆積或者計(jì)算和存儲資源浪費(fèi)的情況。

優(yōu)選地，所述接收線程數(shù)據(jù)步驟中，所述線程數(shù)據(jù)包括至少一條流水線。

進(jìn)一步地，所述流水線包括運(yùn)行所需配置文件、執(zhí)行文件等信息。

進(jìn)一步地，所述傳輸方式種類包括HDFS路徑、Kafka路徑及SFTP路徑中的一種或幾種。

采用上述方案，傳輸方式的種類和數(shù)量，能夠通過實(shí)際的工作環(huán)境進(jìn)行針對性的調(diào)整，在顯著提高工作效率的同時(shí)，避免了不必要的計(jì)算資源浪費(fèi)。

優(yōu)選地，所述接收配置參數(shù)步驟中，所述配置參數(shù)包括：源目錄參數(shù)、目標(biāo)目錄參數(shù)及本地目錄參數(shù)，所述源目錄為每條流水線的監(jiān)控目錄，所述源目錄參數(shù)用于配置待傳輸?shù)哪繕?biāo)文件所在路徑，所述目標(biāo)目錄為傳輸工作的目的地，所述目標(biāo)目錄參數(shù)用于配置待傳輸目標(biāo)文件的傳輸方式，所述本地目錄為備份目錄，所述本地目錄參數(shù)為已傳輸目標(biāo)文件存儲在本地位置的路徑。

進(jìn)一步地，所述源目錄參數(shù)包括傳輸格式、傳輸文件位置，所述傳輸格式為待傳輸目標(biāo)文件的格式類型，所述傳輸文件位置為待傳輸?shù)哪繕?biāo)文件的存儲位置。