[發明專利]一種自動化數據上傳和維護傳輸穩定性的系統及方法

在審

• 申請號: 202011069651.8
• 申請日: 2020-09-30
• 公開（公告）號: CN112351069A
• 公開（公告）日: 2021-02-09
• 發明（設計）人: 曾祥炫;王小普;梁松金;代金龍
• 申請（專利權）人: 銀盛通信有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 深圳市深可信專利代理有限公司 44599
• 代理人: 張勇

本發明公開了一種自動化數據上傳和維護傳輸穩定性的系統及方法，涉及數據上傳技術領域；包括文本數據抽取模塊、圖片數據抽取模塊、文本數據劃分模塊、圖片數據壓縮模塊以及數據上傳系統；文本數據抽取模塊用于從數據庫中查詢出所需的數據條目，并將數據條目寫入文本數據文件中；圖片數據抽取模塊用于形成圖片數據；文本數據劃分模塊用于將文本數據文件劃分為多個子文本數據文件；圖片數據壓縮模塊對圖片數據進行循環等比壓縮；數據上傳系統包括有多進程數據上傳模塊，多進程數據上傳模塊用于建立多個上傳進程，實現多個進程同時上傳數據；本發明的有益效果是：實現了通信行業中大規模數據文件高效且穩定的上傳。

技術領域

本發明涉及數據上傳技術領域，更具體的說，本發明涉及一種自動化數據上傳和維護傳輸穩定性的系統及方法。

背景技術

SFTP是一種安全的文件傳輸協議，一種通過網絡傳輸文件的安全方法；它確保使用私有和安全的數據流來安全地傳輸數據。

SFTP要求客戶端用戶必須由服務器進行身份驗證，并且數據傳輸必須通過安全通道(SSH)進行，即不傳輸明文密碼或文件數據。它允許對遠程文件執行各種操作，有點像遠程文件系統協議。SFTP允許從暫停傳輸，目錄列表和遠程文件刪除等操作中恢復。

現有技術中關于文件的自動化上傳，主要存在以下幾個方面的不足：1、無法自動從多個數據表中抽取滿足通信行業權威監管機構要求的數據。2、無法高效率處理規模較大的數據文件。3、無法應對偶然性的網絡故障，在sftp通道連接中斷后無法繼續重新連接對端服務器處理未完成的任務。4、無法自動將圖片數據壓縮到既不失真也不影響傳輸效率的規模。5、無法自動提示數據文件在監管機構側的檢驗結果。

發明內容

為了克服現有技術的不足，本發明提供一種自動化數據上傳和維護傳輸穩定性的系統及方法，實現了通信行業中大規模數據文件高效且穩定的上傳。

本發明解決其技術問題所采用的技術方案是：一種自動化數據上傳和維護傳輸穩定性的系統，其改進之處在于，包括文本數據抽取模塊、圖片數據抽取模塊、文本數據劃分模塊、圖片數據壓縮模塊以及數據上傳系統；

所述的文本數據抽取模塊，用于從數據庫中查詢出所需的數據條目，并將數據條目寫入文本數據文件中；所述的圖片數據抽取模塊同圖片服務器相連接，用于找出與數據條目對應的用戶圖片，形成圖片數據；

所述的文本數據劃分模塊連接在文本數據抽取模塊上，用于接收文本數據文件，并將其劃分為多個子文本數據文件；所述的圖片數據壓縮模塊連接在圖片數據抽取模塊上，用于接收圖片數據，并對圖片數據進行循環等比壓縮；

所述的數據上傳系統包括有多進程數據上傳模塊，多進程數據上傳模塊用于根據多個子文本數據文件的數量和壓縮后的圖片數據的數量，建立多個上傳進程，實現多個進程同時上傳數據。

進一步的，所述的上傳進程同SFTP服務器相連接，上傳進程判定當前SFTP通道的連通性。

進一步的，所述的數據上傳系統還包括有哨兵進程，該哨兵進程用于定時掃描SFTP服務器。

進一步的，所述的圖片數據壓縮模塊在對圖片數據壓縮后，將壓縮后的圖片存入work目錄中，所述的多進程數據上傳模塊在將壓縮后的圖片上傳成功后，將壓縮后的圖片轉移至finish目錄中。

進一步的，所述的數據上傳系統還包括有守護進程，該守護進程用于實現對上傳進程進行監控。

另一方面，本發明還提供了一種自動化數據上傳和維護傳輸穩定性的方法，其改進之處在于，該方法包括以下的步驟：

S1、文本數據的獲取，文本數據抽取模塊從數據庫中查詢出所需的數據條目，將數據條目整理成行后，寫入文本數據文件中；