[發(fā)明專利]數(shù)據(jù)文件讀取方法、裝置、電子設(shè)備和介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202011486793.4
• 申請(qǐng)日: 2020-12-16
• 公開（公告）號(hào): CN112597220B
• 公開（公告）日: 2023-10-17
• 發(fā)明（設(shè)計(jì)）人: 白晨旭;謝永恒;石志中
• 申請(qǐng)（專利權(quán)）人: 北京銳安科技有限公司
• 主分類號(hào): G06F16/25
• 分類號(hào): G06F16/25;H04L67/06
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種數(shù)據(jù)文件讀取方法，其特征在于，由ETL(Extract-Transform-Load，讀取-轉(zhuǎn)換-加載)工具客戶端執(zhí)行，所述方法包括：

獲取讀取完成的數(shù)據(jù)文件對(duì)應(yīng)的第一標(biāo)識(shí)集合，并根據(jù)所述第一標(biāo)識(shí)集合確定FTP(File Transfer Protocol，文件傳輸協(xié)議)服務(wù)器中未讀取完成的數(shù)據(jù)文件對(duì)應(yīng)的第一標(biāo)識(shí)信息；

獲取已讀取數(shù)據(jù)文件對(duì)應(yīng)的第二標(biāo)識(shí)集合，并根據(jù)所述第二標(biāo)識(shí)集合確定所述第一標(biāo)識(shí)信息中未讀取數(shù)據(jù)文件對(duì)應(yīng)的第二標(biāo)識(shí)信息；

根據(jù)所述第二標(biāo)識(shí)信息，從所述FTP服務(wù)器中下載所述第二標(biāo)識(shí)信息對(duì)應(yīng)的數(shù)據(jù)文件并進(jìn)行讀取。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)所述第一標(biāo)識(shí)集合確定FTP服務(wù)器中未讀取完成的數(shù)據(jù)文件對(duì)應(yīng)的第一標(biāo)識(shí)信息，包括：

獲取所述FTP服務(wù)器中各數(shù)據(jù)文件對(duì)應(yīng)的標(biāo)識(shí)信息；

將所述第一標(biāo)識(shí)集合與所述各數(shù)據(jù)文件對(duì)應(yīng)的標(biāo)識(shí)信息進(jìn)行匹配，將所述各數(shù)據(jù)文件對(duì)應(yīng)的標(biāo)識(shí)信息中，除所述第一標(biāo)識(shí)集合外的標(biāo)識(shí)信息，作為第一標(biāo)識(shí)信息。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)所述第二標(biāo)識(shí)集合確定所述第一標(biāo)識(shí)信息中未讀取數(shù)據(jù)文件對(duì)應(yīng)的第二標(biāo)識(shí)信息，包括：

將所述第二標(biāo)識(shí)集合與所述第一標(biāo)識(shí)信息進(jìn)行匹配，將所述第一標(biāo)識(shí)信息中除所述第二標(biāo)識(shí)集合外的標(biāo)識(shí)信息，作為第二標(biāo)識(shí)信息。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，獲取已讀取數(shù)據(jù)文件對(duì)應(yīng)的第二標(biāo)識(shí)集合之后，包括：

將所述第二標(biāo)識(shí)集合與所述第一標(biāo)識(shí)信息進(jìn)行匹配，將所述第一標(biāo)識(shí)信息中屬于所述第二標(biāo)識(shí)集合的標(biāo)識(shí)信息，作為第三標(biāo)識(shí)信息；

根據(jù)所述第三標(biāo)識(shí)信息，從本地端讀取所述第三標(biāo)識(shí)信息對(duì)應(yīng)的數(shù)據(jù)文件。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，從本地端讀取所述第三標(biāo)識(shí)信息對(duì)應(yīng)的數(shù)據(jù)文件，包括：

根據(jù)所述第三標(biāo)識(shí)信息，獲取所述第三標(biāo)識(shí)信息對(duì)應(yīng)的追溯數(shù)據(jù)；

根據(jù)所述追溯數(shù)據(jù)確定所述第三標(biāo)識(shí)信息對(duì)應(yīng)數(shù)據(jù)文件的歷史讀取位置，并將所述歷史讀取位置為起點(diǎn)對(duì)所述第三標(biāo)識(shí)信息對(duì)應(yīng)的數(shù)據(jù)文件進(jìn)行讀取。

6.根據(jù)權(quán)利要求2所述的方法，其特征在于，獲取所述FTP服務(wù)器中各數(shù)據(jù)文件對(duì)應(yīng)的標(biāo)識(shí)信息之前，包括：

從所述FTP服務(wù)器對(duì)應(yīng)的配置文件中獲取FTP配置信息；其中，所述FTP配置信息包括地址信息、端口信息、用戶名、密碼以及數(shù)據(jù)文件存放目錄；

基于所述FTP配置信息建立與所述FTP服務(wù)器之間的通信連接。

7.一種數(shù)據(jù)文件讀取裝置，其特征在于，配置于ETL客戶端中，所述裝置包括：

第一標(biāo)識(shí)信息確定模塊，用于獲取讀取完成的數(shù)據(jù)文件對(duì)應(yīng)的第一標(biāo)識(shí)集合，并根據(jù)所述第一標(biāo)識(shí)集合確定FTP服務(wù)器中未讀取完成的數(shù)據(jù)文件對(duì)應(yīng)的第一標(biāo)識(shí)信息；

第二標(biāo)識(shí)信息確定模塊，用于獲取已讀取數(shù)據(jù)文件對(duì)應(yīng)的第二標(biāo)識(shí)集合，并根據(jù)所述第二標(biāo)識(shí)集合確定所述第一標(biāo)識(shí)信息中未讀取數(shù)據(jù)文件對(duì)應(yīng)的第二標(biāo)識(shí)信息；

數(shù)據(jù)文件下載模塊，用于根據(jù)所述第二標(biāo)識(shí)信息，從所述FTP服務(wù)器中下載所述第二標(biāo)識(shí)信息對(duì)應(yīng)的數(shù)據(jù)文件并進(jìn)行讀取。

8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述第一標(biāo)識(shí)信息確定模塊，具體用于：

獲取所述FTP服務(wù)器中各數(shù)據(jù)文件對(duì)應(yīng)的標(biāo)識(shí)信息；

將所述第一標(biāo)識(shí)集合與所述各數(shù)據(jù)文件對(duì)應(yīng)的標(biāo)識(shí)信息進(jìn)行匹配，將所述各數(shù)據(jù)文件對(duì)應(yīng)的標(biāo)識(shí)信息中，除所述第一標(biāo)識(shí)集合外的標(biāo)識(shí)信息，作為第一標(biāo)識(shí)信息。

9.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述第二標(biāo)識(shí)信息確定模塊，具體用于：

將所述第二標(biāo)識(shí)集合與所述第一標(biāo)識(shí)信息進(jìn)行匹配，將所述第一標(biāo)識(shí)信息中除所述第二標(biāo)識(shí)集合外的標(biāo)識(shí)信息，作為第二標(biāo)識(shí)信息。