[發明專利]一種星形結構數據交換的方法

在審

• 申請號: 202011572687.8
• 申請日: 2020-12-24
• 公開（公告）號: CN112565042A
• 公開（公告）日: 2021-03-26
• 發明（設計）人: 張輝;鐘松延;熊金國;張博羿
• 申請（專利權）人: 航天科工網絡信息發展有限公司
• 主分類號: H04L12/44
• 分類號: H04L12/44;H04L29/08;G06F16/25
• 代理公司: 中國兵器工業集團公司專利中心 11011
• 代理人: 張然

本發明涉及一種星形結構數據交換的方法，其中，包括：數據傳輸鏈路采用星形拓撲結構，數據交換邏輯包括Job和Task兩個維度，Job表示一道數據同步作業；Task表示數據同步作業切分后的小任務；將一個Job分解成多個并發的Task；Job下發到執行網關，執行網關是物理機器資源的抽象和封裝，如果是非分布式Job，網關會尋找一臺合適的機器運行同步進程，如果是分布式執行模式，會對任務做切分，在分布式機器上執行同步；Job啟動后，根據不同的源端切分策略，將Job切分成多個小的子任務，以便于并發執行；切分多個子任務之后，根據配置的并發數據量，將拆分成的多個子任務重新組合成任務組，每一個任務組負責以并發運行分配的所有子任務。

技術領域

本發明涉及數據交換技術領域，特別涉及一種星形結構數據交換的方法。

背景技術

隨著企業信息化建設的發展，企業建立了眾多的信息系統，以幫助企業進行內、外部業務的處理和管理工作。但是隨著信息系統的增加，各自孤立工作的信息系統將會造成大量的冗余數據和業務人員的重復勞動，需要通過數據集成交換技術來橫貫整個企業的異構系統、應用、數據源等，完成在企業內部系統之間以及內外系統之間無縫地共享和交換數據的需要。

數據交換是企業應用集成的重要環節，實施數據集成的過程中，由于不同用戶提供的數據可能來自不同的途徑，其數據內容、數據格式和數據質量千差萬別，有時甚至會遇到數據格式不能轉換或數據轉換格式后丟失信息等棘手問題，嚴重阻礙了數據在各部門和各應用系統中的流動與共享，ETL是目前主流的數據交換集成技術，負責將分布的、異構數據源中的數據如關系數據、平面數據文件等抽取到臨時中間層后進行清洗、轉換、集成，最后加載到數據倉庫或數據集市中，成為聯機分析處理、數據挖掘的基礎。

目前主流的ETL工具針對數據源-目標的轉換是點對點的，配置復雜且不易擴展，在對接各種異構的數據系統時，往往要反復開發多種不同的ETL，需要不停的適配，缺少統一的中間數據格式，無法做到分布式和流控、臟數據控制。

發明內容

本發明的目的在于提供給一種星形結構數據交換的方法，用于解決異構數據源適配、擴展性以及同步性能問題。

本發明一種星形結構數據交換的方法，其中，包括：數據傳輸鏈路采用星形拓撲結構，源端和目的端的數據交換通過中央控制節點，中央控制節點實現數據中繼和數據處理功能，負責接收源端數據源的信息，并轉發給目的數據源；將數據交換的內容轉化為統一為中間數據格式，實現異構數據源間的統一數據處理和交換；數據交換邏輯包括Job和Task兩個維度，Job表示一道數據同步作業；Task表示數據同步作業切分后的小任務；將一個Job分解成多個并發的Task；Job下發到執行網關，執行網關是物理機器資源的抽象和封裝，如果是非分布式Job，網關會尋找一臺合適的機器運行同步進程，如果是分布式執行模式，會對任務做切分，在分布式機器上執行同步；Job啟動后，根據不同的源端切分策略，將Job切分成多個小的子任務，以便于并發執行；切分多個子任務之后，根據配置的并發數據量，將拆分成的多個子任務重新組合成任務組，每一個任務組負責以并發運行分配的所有子任務。

根據本發明所述的星形結構數據交換的方法的一實施例，其中，中央控制節點作為中間傳輸載體負責連接各種數據源，當需要接入一個新的數據源的時候，將此數據源對接到中央控制節點。

根據本發明所述的星形結構數據交換的方法的一實施例，其中，中央控制節點采用Framework+plugin架構構建。

根據本發明所述的星形結構數據交換的方法的一實施例，其中，Task是中央控制節點作業的最小單元，每一個Task都會負責一部分數據的同步工作。

根據本發明所述的星形結構數據交換的方法的一實施例，其中，切分多個子任務之后，Job根據配置的并發數據量，將拆分成的Task重新組合，組裝成任務組。