[發明專利]一種大數據量數據的網絡傳輸系統

無效

• 申請號: 201210560424.4
• 申請日: 2012-12-20
• 公開（公告）號: CN103002049A
• 公開（公告）日: 2013-03-27
• 發明（設計）人: 鄧科峰
• 申請（專利權）人: 北京思特奇信息技術股份有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L12/26;H04L1/00
• 代理公司: 北京輕創知識產權代理有限公司 11212
• 代理人: 楊立

技術領域

本發明涉及電信行業的大數據量數據文件傳輸技術領域，特別是涉及一種大數據量數據網絡傳輸的系統。

背景技術

隨著電信行業各大運營商內部信息整合、資源的交換與共享的深入，各電信運營商內部產生的大量業務數據信息、基礎數據庫信息、以及各種詳單、賬單、原始話單文件等需要及時快速地從部門的服務器或終端匯總到數據中心、以便在各個部門的服務器或終端之間互傳。由于傳輸的數據量巨大、傳輸過程中經過的服務器及網絡環節眾多，因此，對數據傳輸的效率、可靠性、安全等方面提出了諸多要求，同時，現有應用需求對數據資源傳輸的要求也越來越高。而傳統的文件傳輸工具已經無法勝任大機構級應用環境的需求。為此，快速、安全、穩定地實現超量數據網絡傳輸技術的研究是一個亟待解決的問題。

發明內容

本發明所要解決的技術問題是提供一種基于大數據量數據的網絡傳輸系統，用于解決現有技術中大數據量數據的網絡傳輸效率低、可靠性不高、安全性低等問題。

本發明解決上述技術問題的技術方案如下：一種大數據量數據的網絡傳輸系統，包括數據處理模塊、數據管理模塊、數據傳輸模塊和網絡監測模塊；

所述數據處理模塊，其用于接收數據，并對數據進行處理，再將處理后的數據封裝成若干數據包發送給數據管理模塊；

所述數據管理模塊，其用于統一管理和分配經所述數據處理模塊處理后的數據包；

所述數據傳輸模塊，其用于為數據管理模塊分配的數據包選擇傳輸路徑，并實現即時數據傳輸和/或離線數據傳輸；

所述網絡監測模塊，其用于監測網絡運行情況。

在上述技術方案的基礎上，本發明還可以做如下改進。

進一步，所述數據處理模塊對數據進行處理包括：根據數據的處理規則，對數據進行預處理、封裝、加密、解密、校驗、壓縮、解壓縮、指定編碼和/或指定解碼格式。

進一步，所述將處理后的數據封裝成若干數據包具體包括：將處理后的數據封裝成具有若干UDP數據包的數據包模塊，若處理后的數據本身即是UDP數據包，則不進行數據封裝，直接將UDP數據包組合成數據包模塊。

進一步，所述數據管理模塊統一管理數據包包括：對數據包進行緩存管理、并發管理和/或完整性管理。

進一步，所述數據傳輸模塊選擇的傳輸路徑包括：直接發送和/或通過服務器轉發。

進一步，所述數據傳輸模塊包括即時數據傳輸模塊和離線數據傳輸模塊，所述即時數據傳輸模塊用于以P2P通信方式或通過服務器轉發方式實現即時數據傳輸，所述離線數據傳輸模塊用于實現數據的離線上傳和離線下載。

進一步，實現即時數據傳輸包括：通信雙方均保持在線狀態,經過一次雙向認證后，進行數據傳輸；若通信雙方的雙向認證不成功，數據發送方會自動將數據發往服務器，由服務器將數據轉發給接收方。

進一步，實現離線數據傳輸具體包括：當通信的一方不在線時，數據發送方向對方發送數據，該數據暫時存放在數據緩存服務器中進行中轉，當數據接收方上線時，將自動從數據緩存服務器中獲取緩存的離線數據。

進一步，實現即時數據傳輸和離線數據傳輸均還包括：設計了斷線續傳功能，用于在傳輸意外中斷時，從斷點處重新開始傳輸。

進一步，所述網絡監測模塊用于監測網絡運行情況具體包括：監控本地與服務器連接超時、報告服務器下線通知、處理本地網絡異常和測試數據傳輸雙方的網絡帶寬。

本發明的有益效果是：依據數據傳輸端之間所處的網絡環境，設計了一種新型的大數據量數據網絡傳輸系統架構，實現了高效的即時數據傳輸與離線數據傳輸，而且數據量越大，即時數據傳輸方式的優勢越明顯。

附圖說明

圖1為本發明所述大數據量數據的網絡傳輸系統的結構示意圖；

圖2為本發明實施例一中即時數據傳輸的工作原理圖；

圖3為本發明實施例一中數據離線上傳的工作原理圖；

圖4為本發明實施例一中數據離線下載的工作原理圖。

附圖中，各標號所代表的部件列表如下：

1、大數據量數據傳輸系統架構，2、數據處理模塊，3、數據管理模塊，4、數據傳輸模塊，5、網絡監測模塊，6、即時數據傳輸模塊，7、離線數據傳輸模塊。

具體實施方式

以下結合附圖對本發明的原理和特征進行描述，所舉實例只用于解釋本發明，并非用于限定本發明的范圍。

實施例一依據開放互聯網參考模型，設計了一種大數據量數據傳輸系統架構1，主要包括數據處理模塊2、數據管理模塊3、數據傳輸模塊4和網絡監測模塊5。