[發(fā)明專利]一種基于Shell的應(yīng)用在系統(tǒng)間文件交互中的處理方法

有效

• 申請?zhí)枺?/td>: 202110103485.7
• 申請日: 2021-01-26
• 公開（公告）號: CN112764740B
• 公開（公告）日: 2022-06-10
• 發(fā)明（設(shè)計(jì)）人: 廖繼全
• 申請（專利權(quán)）人: 北京融和友信科技股份有限公司
• 主分類號: G06F8/34
• 分類號: G06F8/34;G06F8/38;G06F8/41
• 代理公司: 北京艾格律詩專利代理有限公司 11924
• 代理人: 謝毅

本發(fā)明提供一種基于Shell的應(yīng)用在系統(tǒng)間文件交互中的處理方法，包括步驟：(1)將與本系統(tǒng)相關(guān)的數(shù)據(jù)源的關(guān)鍵信息進(jìn)行參數(shù)配置；(2)從數(shù)據(jù)庫中獲取數(shù)據(jù)源和數(shù)據(jù)文件參數(shù)，根據(jù)參數(shù)進(jìn)行初始化處理；(3)通過FTP或SFTP命令按數(shù)據(jù)源信息自動創(chuàng)建文件傳輸連接，使用特征自動檢索源路徑，判斷對應(yīng)數(shù)據(jù)源的數(shù)據(jù)文件是否就緒；(4)在抓取數(shù)據(jù)文件后，根據(jù)OK中登記的源文件條數(shù)和獲取的數(shù)據(jù)文件條數(shù)進(jìn)行對比，確保獲取到的數(shù)據(jù)文件完整；(5)利用sed命令對文件進(jìn)行切割處理；(6)對已經(jīng)切割后的子數(shù)據(jù)文件或符合設(shè)置要求的源數(shù)據(jù)文件進(jìn)行并發(fā)處理；(7)對導(dǎo)入完成的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)，與獲取的文件記錄數(shù)進(jìn)行對比，確保已經(jīng)處理和導(dǎo)入的數(shù)據(jù)完整。

技術(shù)領(lǐng)域

本發(fā)明涉及一種文件交互處理，尤其是涉及一種基于Shell的應(yīng)用在系統(tǒng)間文件交互中的處理方法。

背景技術(shù)

鑒于公司在金融軟件項(xiàng)目的實(shí)施交付過程中，經(jīng)常遇到所交付系統(tǒng)與客戶現(xiàn)有其他系統(tǒng)的多對多的復(fù)雜交互場景，由于不同客戶對系統(tǒng)的要求不同，不同客戶的現(xiàn)有系統(tǒng)情況都不盡相同，系統(tǒng)間關(guān)系和技術(shù)規(guī)范也存在較多差異，在實(shí)際的實(shí)施工作中此部分工作常常占用實(shí)施團(tuán)隊(duì)較多的開發(fā)和實(shí)施時(shí)間，降低了實(shí)施效率，造成了人力、物力和財(cái)力的嚴(yán)重浪費(fèi)。

發(fā)明內(nèi)容

本發(fā)明提供了一種基于Shell的應(yīng)用在系統(tǒng)間文件交互中的處理方法，解決了項(xiàng)目實(shí)施交付過程中的多數(shù)據(jù)源多文件(多數(shù)據(jù)源多文件，其中數(shù)據(jù)源是指提供數(shù)據(jù)源文件的系統(tǒng)，文件是指數(shù)據(jù)文件，多數(shù)據(jù)源多文件，即應(yīng)用系統(tǒng)從多個(gè)系統(tǒng)中各自獲取多個(gè)數(shù)據(jù)文件)的交互場景中的問題，其技術(shù)方案如下所述：

一種基于Shell的應(yīng)用在系統(tǒng)間文件交互中的處理方法，所述系統(tǒng)需要兼容Linux系統(tǒng)，包括下列步驟：

S1：參數(shù)配置：將與本系統(tǒng)相關(guān)的數(shù)據(jù)源的關(guān)鍵信息進(jìn)行參數(shù)配置，為所有數(shù)據(jù)源的IP、對接用戶、數(shù)據(jù)路徑、接入文件、接入頻率、數(shù)據(jù)分割符提供參數(shù)化配置，同時(shí)設(shè)定工具(即，承載本文所述處理方法的shell腳本)的入?yún)⒍x，支持JAVA或其他shell腳本程序調(diào)用時(shí)傳入?yún)?shù)，也支持通過數(shù)據(jù)庫自動獲取參數(shù)；

S2：參數(shù)獲取：從數(shù)據(jù)庫中獲取數(shù)據(jù)源和數(shù)據(jù)文件參數(shù)，并根據(jù)參數(shù)進(jìn)行初始化處理；

S3：輪詢識別：根據(jù)入?yún)⒅械臄?shù)據(jù)源IP地址、數(shù)據(jù)源用戶名、數(shù)據(jù)源密碼，通過FTP或SFTP命令按數(shù)據(jù)源信息自動創(chuàng)建文件傳輸連接，并使用文件名稱或OK文件作為特征自動檢索源路徑，以判斷對應(yīng)數(shù)據(jù)源的數(shù)據(jù)文件是否已經(jīng)準(zhǔn)備就緒；

S4：數(shù)據(jù)校驗(yàn)：在抓取數(shù)據(jù)文件后，根據(jù)OK中登記的源文件條數(shù)和獲取的數(shù)據(jù)文件條數(shù)進(jìn)行對比，以確保獲取到的數(shù)據(jù)文件完整；

S5：文件切割：利用sed命令對文件進(jìn)行切割處理，將一個(gè)數(shù)據(jù)文件按文件大小切割成多個(gè)子數(shù)據(jù)文件；

S6：并發(fā)導(dǎo)入：對已經(jīng)切割后的子數(shù)據(jù)文件或符合設(shè)置要求的源數(shù)據(jù)文件進(jìn)行并發(fā)處理；

S7：結(jié)果驗(yàn)證：對導(dǎo)入完成的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)，與獲取的文件記錄數(shù)進(jìn)行對比，確保已經(jīng)處理和導(dǎo)入的數(shù)據(jù)完整。

進(jìn)一步的，步驟S1中，所述關(guān)鍵信息包括數(shù)據(jù)源編號、數(shù)據(jù)源名稱、交互方式、文件獲取方式、數(shù)據(jù)源服務(wù)器地址、數(shù)據(jù)源服務(wù)器端口號、數(shù)據(jù)源服務(wù)器名稱、數(shù)據(jù)源服務(wù)器密碼、數(shù)據(jù)源服務(wù)器目錄、OK文件類型、取數(shù)輪詢間隔時(shí)間、本地接收路徑、本地備份路徑、本地?cái)?shù)據(jù)庫用戶名、本地?cái)?shù)據(jù)庫密碼、導(dǎo)入輪詢間隔時(shí)間、數(shù)據(jù)分隔符，以及交互文件的相關(guān)參數(shù)。

步驟S1中，所述相關(guān)參數(shù)包括文件編碼、文件名稱、數(shù)據(jù)源編號、對應(yīng)庫表、文件周期、是否允許重復(fù)導(dǎo)入是否支持手工修改、是否批量依賴。

進(jìn)一步的，步驟S3中，使用二進(jìn)制傳輸?shù)姆绞剑ㄟ^mget命令批量抓取數(shù)據(jù)文件和OK文件，并放置到本地路徑下。