[發明專利]跨節點業務數據的傳輸系統

無效

• 申請號: 200710308380.5
• 申請日: 2007-12-29
• 公開（公告）號: CN101188619A
• 公開（公告）日: 2008-05-28
• 發明（設計）人: 陳銘新;鄧波;馬駿;朱志;翁世清;崔榮曉;王彬;許長山;董瑜;劉慶文
• 申請（專利權）人: 中國建設銀行股份有限公司
• 主分類號: H04L29/06
• 分類號: H04L29/06;H03M7/30
• 代理公司: 北京集佳知識產權代理有限公司
• 代理人: 徐金生;逯長明

技術領域

本發明涉及數據處理領域，特別涉及一種跨節點業務數據的傳輸系統。

背景技術

目前，隨著銀行業的競爭越來越白熱化，銀行業對數據的分析需求越來越多，總行與分行之間的數據交互活動越來越頻繁，例如，有時總行需要從分行獲取數據后進行加工分析，有時分行需要獲取總行的數據進行加工分析。

而數據加工處理領域，眾多銀行選用ETL加工工具(數據抽取(Extract)、轉換(Transform)、裝載(Load)的軟件工具)進行。目前IBM公司的DataStage是較為普遍采用的ETL加工工具，很多銀行都采用DataStage實現ETL數據加工。

當前，總行與分行的DataStage?Job(即DataStage作業)之間進行數據傳輸離不開數據的落地操作。例如，當一個分行需要總行的加工數據進行后續的加工處理時，總行獲取相關的數據進行DataStage?Job加工處理后生成分行需要的落地數據文件，然后啟動文件傳輸程序把文件傳輸到分行，分行啟動分行DataStage?Job處理該文件并生成分行需要的數據。需要說明的是，DataStage?Job是用戶為實現數據抽取、轉換處理、裝載功能而用DataStage設計的一些作業，每一個作業實現一定數據的抽取、轉換處理、裝載功能。

鑒于銀行部門對數據的安全性要求很高，故數據在傳輸過程中需要加密；又由于總行和分行之間的傳輸網絡帶寬有限，故需要對要傳輸的數據進行加壓(即壓縮)以減少傳輸量，減少對網絡帶寬的占用，進而提供傳輸效率，并且文件數據傳輸到分行后先落地，再解壓解密后又要落地。

因此，現有總行與分行的DataStage?Job之間的數據傳輸機制中通常存在加壓、加密、解壓、解密等落地操作，多次數據落地操作需要占用大量的存儲資源以及大量的計算機系統處理資源(例如占用CPU資源及輸入/輸出(Input/Output，I/O)資源去多次讀文件數據和寫文件數據)，并且多次數據落地操作會導致數據處理的時間延長，使總行與分行的DataStage?Job之間數據處理時效性差。

發明內容

本發明所要解決的技術問題是提供一種跨節點業務數據的傳輸系統，用以解決現有總行與分行之間數據傳輸過程中存在多次數據落地的問題，提高總行與分行之間數據傳輸的效率。

為此，本發明提供了一種跨節點業務數據的傳輸系統，包括第一節點和第二節點，所述第一節點包括：加工處理單元，用于對需要加工的數據流進行加工處理；數據發送裝置，用于在線接收加工處理單元所加工處理后的數據流并發送給第二節點中的數據接收裝置；

所述第二節點包括：數據接收裝置，用于在線接收數據發送裝置所發送的數據流。

優選地，所述數據發送裝置和所述數據接收裝置嵌入式組件單元。

優選地，所述數據發送裝置通過以組件的方式嵌入到第一節點。

優選地，所述第一節點為總行的DataStage?Job裝置。

優選地，所述數據接收裝置通過以組件的方式嵌入到第二節點。

優選地，所述第二節點為分行的DataStage?Job裝置。

優選地，所述數據發送裝置包括：

在線數據接收單元，用于在線接收加工處理單元所加工處理好的數據流；

在線數據傳輸單元，與在線數據接收單元相連，用于將在線數據接收單元所接收到的數據在線傳輸給第二節點的數據接收裝置的接收數據流單元。

優選地，所述數據發送裝置還包括：加壓單元，用于對在線數據接收單元所接收到的數據流進行在線加壓；所述數據接收裝置還包括：解壓單元，用于對接收數據流單元所接收的數據流進行解壓。

優選地，所述數據發送裝置還包括：加密單元，用于對在線數據接收單元所接收到的數據流進行在線加密；所述數據接收裝置還包括：解密單元，用于對接收數據流單元所接收的數據流進行解密。

優選地，所述數據發送裝置與所述數據接收裝置之間的數據傳輸機制為Socket數據流傳輸機制。

優選地，所述數據接收裝置還包括：后續加工處理單元，用于對接收數據流單元接收到的數據流進行后續加工處理，生成數據接收裝置所需要的數據。

優選地，所述數據接收裝置所需要的數據為落地文件或數據庫表。

與現有技術相比，本發明實施例具有以下優點：