[發(fā)明專利]一種自動(dòng)化數(shù)據(jù)上傳和維護(hù)傳輸穩(wěn)定性的系統(tǒng)及方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011069651.8
• 申請(qǐng)日: 2020-09-30
• 公開（公告）號(hào): CN112351069A
• 公開（公告）日: 2021-02-09
• 發(fā)明（設(shè)計(jì)）人: 曾祥炫;王小普;梁松金;代金龍
• 申請(qǐng)（專利權(quán)）人: 銀盛通信有限公司
• 主分類號(hào): H04L29/08
• 分類號(hào): H04L29/08
• 代理公司: 深圳市深可信專利代理有限公司 44599
• 代理人: 張勇

1.一種自動(dòng)化數(shù)據(jù)上傳和維護(hù)傳輸穩(wěn)定性的系統(tǒng)，其特征在于，包括文本數(shù)據(jù)抽取模塊、圖片數(shù)據(jù)抽取模塊、文本數(shù)據(jù)劃分模塊、圖片數(shù)據(jù)壓縮模塊以及數(shù)據(jù)上傳系統(tǒng)；

所述的文本數(shù)據(jù)抽取模塊，用于從數(shù)據(jù)庫中查詢出所需的數(shù)據(jù)條目，并將數(shù)據(jù)條目寫入文本數(shù)據(jù)文件中；所述的圖片數(shù)據(jù)抽取模塊同圖片服務(wù)器相連接，用于找出與數(shù)據(jù)條目對(duì)應(yīng)的用戶圖片，形成圖片數(shù)據(jù)；

所述的文本數(shù)據(jù)劃分模塊連接在文本數(shù)據(jù)抽取模塊上，用于接收文本數(shù)據(jù)文件，并將其劃分為多個(gè)子文本數(shù)據(jù)文件；所述的圖片數(shù)據(jù)壓縮模塊連接在圖片數(shù)據(jù)抽取模塊上，用于接收?qǐng)D片數(shù)據(jù)，并對(duì)圖片數(shù)據(jù)進(jìn)行循環(huán)等比壓縮；

所述的數(shù)據(jù)上傳系統(tǒng)包括有多進(jìn)程數(shù)據(jù)上傳模塊，多進(jìn)程數(shù)據(jù)上傳模塊用于根據(jù)多個(gè)子文本數(shù)據(jù)文件的數(shù)量和壓縮后的圖片數(shù)據(jù)的數(shù)量，建立多個(gè)上傳進(jìn)程，實(shí)現(xiàn)多個(gè)進(jìn)程同時(shí)上傳數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的一種自動(dòng)化數(shù)據(jù)上傳和維護(hù)傳輸穩(wěn)定性的系統(tǒng)，其特征在于，所述的上傳進(jìn)程同SFTP服務(wù)器相連接，上傳進(jìn)程判定當(dāng)前SFTP通道的連通性。

3.根據(jù)權(quán)利要求2所述的一種自動(dòng)化數(shù)據(jù)上傳和維護(hù)傳輸穩(wěn)定性的系統(tǒng)，其特征在于，所述的數(shù)據(jù)上傳系統(tǒng)還包括有哨兵進(jìn)程，該哨兵進(jìn)程用于定時(shí)掃描SFTP服務(wù)器。

4.根據(jù)權(quán)利要求1所述的一種自動(dòng)化數(shù)據(jù)上傳和維護(hù)傳輸穩(wěn)定性的系統(tǒng)，其特征在于，所述的圖片數(shù)據(jù)壓縮模塊在對(duì)圖片數(shù)據(jù)壓縮后，將壓縮后的圖片存入work目錄中，所述的多進(jìn)程數(shù)據(jù)上傳模塊在將壓縮后的圖片上傳成功后，將壓縮后的圖片轉(zhuǎn)移至finish目錄中。

5.根據(jù)權(quán)利要求1所述的一種自動(dòng)化數(shù)據(jù)上傳和維護(hù)傳輸穩(wěn)定性的系統(tǒng)，其特征在于，所述的數(shù)據(jù)上傳系統(tǒng)還包括有守護(hù)進(jìn)程，該守護(hù)進(jìn)程用于實(shí)現(xiàn)對(duì)上傳進(jìn)程進(jìn)行監(jiān)控。

6.一種自動(dòng)化數(shù)據(jù)上傳和維護(hù)傳輸穩(wěn)定性的方法，其特征在于，該方法包括以下的步驟：

S1、文本數(shù)據(jù)的獲取，文本數(shù)據(jù)抽取模塊從數(shù)據(jù)庫中查詢出所需的數(shù)據(jù)條目，將數(shù)據(jù)條目整理成行后，寫入文本數(shù)據(jù)文件中；

S2、圖片數(shù)據(jù)的獲取，圖片數(shù)據(jù)抽取模塊根據(jù)每個(gè)數(shù)據(jù)條目中的用戶號(hào)碼從圖片服務(wù)器中找出對(duì)應(yīng)的用戶圖片，保存后即為圖片數(shù)據(jù)；

S3、文本數(shù)據(jù)的劃分，文本數(shù)據(jù)劃分模塊接收文本數(shù)據(jù)文件，并將文本數(shù)據(jù)文件劃分行數(shù)規(guī)模相同的多個(gè)子文本數(shù)據(jù)文件；

S4、圖片數(shù)據(jù)的壓縮，圖片數(shù)據(jù)壓縮模塊接收?qǐng)D片數(shù)據(jù)，對(duì)圖片數(shù)據(jù)進(jìn)行循環(huán)等比壓縮；

S5、數(shù)據(jù)的上傳，所述的數(shù)據(jù)上傳系統(tǒng)包括有多進(jìn)程數(shù)據(jù)上傳模塊，多進(jìn)程數(shù)據(jù)上傳模塊根據(jù)劃分的子文本數(shù)據(jù)文件的數(shù)量和圖片的數(shù)量建立相應(yīng)的多個(gè)上傳進(jìn)程，實(shí)現(xiàn)多個(gè)進(jìn)程同時(shí)上傳數(shù)據(jù)；

S6、傳輸穩(wěn)定性的維護(hù)，上傳進(jìn)程同SFTP服務(wù)器相連接，用于判斷當(dāng)前SFTP通道的連通性。

7.根據(jù)權(quán)利要求6所述的一種自動(dòng)化數(shù)據(jù)上傳和維護(hù)傳輸穩(wěn)定性的方法，其特征在于，所述的步驟S1中，在查詢所需的數(shù)據(jù)條目時(shí)，需聯(lián)合數(shù)據(jù)庫中的多張表數(shù)據(jù)表。

8.根據(jù)權(quán)利要求6所述的一種自動(dòng)化數(shù)據(jù)上傳和維護(hù)傳輸穩(wěn)定性的方法，其特征在于，所述的步驟S3中，在對(duì)文本數(shù)據(jù)文件進(jìn)行劃分時(shí)，首先判斷當(dāng)前文本數(shù)據(jù)文件的總行數(shù)，再根據(jù)設(shè)定的文本劃分閾值實(shí)現(xiàn)文本數(shù)據(jù)文件的劃分。

9.根據(jù)權(quán)利要求6所述的一種自動(dòng)化數(shù)據(jù)上傳和維護(hù)傳輸穩(wěn)定性的方法，其特征在于，所述的步驟S4中，利用PHP的GD庫功能，根據(jù)已設(shè)定的圖片規(guī)模實(shí)現(xiàn)圖片數(shù)據(jù)的循環(huán)等比壓縮，將壓縮后的圖片存放至work目錄中。

10.根據(jù)權(quán)利要求9所述的一種自動(dòng)化數(shù)據(jù)上傳和維護(hù)傳輸穩(wěn)定性的方法，其特征在于，所述的步驟S5中，在實(shí)現(xiàn)圖片上傳時(shí)，多進(jìn)程數(shù)據(jù)上傳模塊依次從work目錄中拿出圖片上傳，上傳成功后則移動(dòng)對(duì)應(yīng)圖片到finish目錄。