[發明專利]一種自動化數據上傳和維護傳輸穩定性的系統及方法

在審

• 申請號: 202011069651.8
• 申請日: 2020-09-30
• 公開（公告）號: CN112351069A
• 公開（公告）日: 2021-02-09
• 發明（設計）人: 曾祥炫;王小普;梁松金;代金龍
• 申請（專利權）人: 銀盛通信有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 深圳市深可信專利代理有限公司 44599
• 代理人: 張勇

1.一種自動化數據上傳和維護傳輸穩定性的系統，其特征在于，包括文本數據抽取模塊、圖片數據抽取模塊、文本數據劃分模塊、圖片數據壓縮模塊以及數據上傳系統；

所述的文本數據抽取模塊，用于從數據庫中查詢出所需的數據條目，并將數據條目寫入文本數據文件中；所述的圖片數據抽取模塊同圖片服務器相連接，用于找出與數據條目對應的用戶圖片，形成圖片數據；

所述的文本數據劃分模塊連接在文本數據抽取模塊上，用于接收文本數據文件，并將其劃分為多個子文本數據文件；所述的圖片數據壓縮模塊連接在圖片數據抽取模塊上，用于接收圖片數據，并對圖片數據進行循環等比壓縮；

所述的數據上傳系統包括有多進程數據上傳模塊，多進程數據上傳模塊用于根據多個子文本數據文件的數量和壓縮后的圖片數據的數量，建立多個上傳進程，實現多個進程同時上傳數據。

2.根據權利要求1所述的一種自動化數據上傳和維護傳輸穩定性的系統，其特征在于，所述的上傳進程同SFTP服務器相連接，上傳進程判定當前SFTP通道的連通性。

3.根據權利要求2所述的一種自動化數據上傳和維護傳輸穩定性的系統，其特征在于，所述的數據上傳系統還包括有哨兵進程，該哨兵進程用于定時掃描SFTP服務器。

4.根據權利要求1所述的一種自動化數據上傳和維護傳輸穩定性的系統，其特征在于，所述的圖片數據壓縮模塊在對圖片數據壓縮后，將壓縮后的圖片存入work目錄中，所述的多進程數據上傳模塊在將壓縮后的圖片上傳成功后，將壓縮后的圖片轉移至finish目錄中。

5.根據權利要求1所述的一種自動化數據上傳和維護傳輸穩定性的系統，其特征在于，所述的數據上傳系統還包括有守護進程，該守護進程用于實現對上傳進程進行監控。

6.一種自動化數據上傳和維護傳輸穩定性的方法，其特征在于，該方法包括以下的步驟：

S1、文本數據的獲取，文本數據抽取模塊從數據庫中查詢出所需的數據條目，將數據條目整理成行后，寫入文本數據文件中；

S2、圖片數據的獲取，圖片數據抽取模塊根據每個數據條目中的用戶號碼從圖片服務器中找出對應的用戶圖片，保存后即為圖片數據；

S3、文本數據的劃分，文本數據劃分模塊接收文本數據文件，并將文本數據文件劃分行數規模相同的多個子文本數據文件；

S4、圖片數據的壓縮，圖片數據壓縮模塊接收圖片數據，對圖片數據進行循環等比壓縮；

S5、數據的上傳，所述的數據上傳系統包括有多進程數據上傳模塊，多進程數據上傳模塊根據劃分的子文本數據文件的數量和圖片的數量建立相應的多個上傳進程，實現多個進程同時上傳數據；

S6、傳輸穩定性的維護，上傳進程同SFTP服務器相連接，用于判斷當前SFTP通道的連通性。

7.根據權利要求6所述的一種自動化數據上傳和維護傳輸穩定性的方法，其特征在于，所述的步驟S1中，在查詢所需的數據條目時，需聯合數據庫中的多張表數據表。

8.根據權利要求6所述的一種自動化數據上傳和維護傳輸穩定性的方法，其特征在于，所述的步驟S3中，在對文本數據文件進行劃分時，首先判斷當前文本數據文件的總行數，再根據設定的文本劃分閾值實現文本數據文件的劃分。

9.根據權利要求6所述的一種自動化數據上傳和維護傳輸穩定性的方法，其特征在于，所述的步驟S4中，利用PHP的GD庫功能，根據已設定的圖片規模實現圖片數據的循環等比壓縮，將壓縮后的圖片存放至work目錄中。

10.根據權利要求9所述的一種自動化數據上傳和維護傳輸穩定性的方法，其特征在于，所述的步驟S5中，在實現圖片上傳時，多進程數據上傳模塊依次從work目錄中拿出圖片上傳，上傳成功后則移動對應圖片到finish目錄。