[發(fā)明專利]一種通過FTP進行大數(shù)據(jù)批量導(dǎo)入導(dǎo)出的方法

在審

• 申請?zhí)枺?/td>: 201711220664.9
• 申請日: 2017-11-29
• 公開（公告）號: CN108182197A
• 公開（公告）日: 2018-06-19
• 發(fā)明（設(shè)計）人: 吳偉;徐喚春;裴大鵬
• 申請（專利權(quán)）人: 商派軟件有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;H04L29/08
• 代理公司: 常州佰業(yè)騰飛專利代理事務(wù)所(普通合伙) 32231
• 代理人: 滕詣迪

1.一種通過FTP進行大數(shù)據(jù)批量導(dǎo)入導(dǎo)出的方法，其特征在于，包括以下步驟：

S1：導(dǎo)入驗證：多商品數(shù)據(jù)分行導(dǎo)入，驗證每行數(shù)據(jù)；

S2：數(shù)據(jù)傳入：將該行數(shù)據(jù)通過FTP文傳協(xié)議傳入FTP服務(wù)器；

S3：非空處理：捕獲該行數(shù)據(jù)的字段空值進行非空處理；

S4：數(shù)據(jù)替換：通過有效數(shù)據(jù)對無效數(shù)據(jù)、缺失數(shù)據(jù)進行替換；

S5：數(shù)據(jù)重構(gòu)：對字段格式進行約束，將數(shù)據(jù)源中格式多樣的數(shù)據(jù)在結(jié)構(gòu)、格式、類型上重構(gòu)統(tǒng)一，自定義導(dǎo)出格式；

S6：拆分數(shù)據(jù)：依據(jù)數(shù)據(jù)業(yè)務(wù)需求對重構(gòu)后的字段進行分解；

S7：設(shè)置分隔符：依據(jù)不同數(shù)據(jù)業(yè)務(wù)需求設(shè)置不同數(shù)據(jù)分隔符；

S8：數(shù)據(jù)導(dǎo)出：通過后臺程序?qū)?shù)據(jù)通過FTP文傳協(xié)議傳入到FTP服務(wù)器，并通過FTP服務(wù)器導(dǎo)出數(shù)據(jù)，并支持斷點續(xù)傳。

2.根據(jù)權(quán)利要求1所述的一種通過FTP進行大數(shù)據(jù)批量導(dǎo)入導(dǎo)出的方法，其特征在于，所述S1中，數(shù)據(jù)分行導(dǎo)入時，驗證多商品數(shù)據(jù)的合法性，全部合法時，多商品數(shù)據(jù)寫入數(shù)據(jù)庫，反之，提示不合法的多商品數(shù)據(jù)的行數(shù)和相對的錯誤內(nèi)容。

3.根據(jù)權(quán)利要求1所述的一種通過FTP進行大數(shù)據(jù)批量導(dǎo)入導(dǎo)出的方法，其特征在于，所述S2中，F(xiàn)TP文傳協(xié)議包括ASCII傳輸模式和二進制數(shù)據(jù)傳輸模式。

4.根據(jù)權(quán)利要求1所述的一種通過FTP進行大數(shù)據(jù)批量導(dǎo)入導(dǎo)出的方法，其特征在于，所述S3中，非空處理包括加載或替換每行數(shù)據(jù)的字段。

5.根據(jù)權(quán)利要求4所述的一種通過FTP進行大數(shù)據(jù)批量導(dǎo)入導(dǎo)出的方法，其特征在于，所述加載每行數(shù)據(jù)的字段包括：

輸入?yún)?shù)為字符類型，且允許為空的；

輸入類型為整型，且允許為空的；

輸入?yún)?shù)為字符類型，且是非空非空格的；

輸入類型為整型，且是非空的。

6.根據(jù)權(quán)利要求1所述的一種通過FTP進行大數(shù)據(jù)批量導(dǎo)入導(dǎo)出的方法，其特征在于，所述S4中，通過有效數(shù)據(jù)對無效數(shù)據(jù)、缺失數(shù)據(jù)進行替換的數(shù)據(jù)包括結(jié)構(gòu)、格式、類型有效的數(shù)據(jù)。

7.根據(jù)權(quán)利要求1所述的一種通過FTP進行大數(shù)據(jù)批量導(dǎo)入導(dǎo)出的方法，其特征在于，所述S5中，格式多樣的數(shù)據(jù)包括時間、數(shù)值、字符。

8.根據(jù)權(quán)利要求1所述的一種通過FTP進行大數(shù)據(jù)批量導(dǎo)入導(dǎo)出的方法，其特征在于，所述S7中，分隔符包括行分隔符、列分隔符、字段包圍符和轉(zhuǎn)義符。