[發明專利]一種星形結構數據交換的方法

在審

• 申請號: 202011572687.8
• 申請日: 2020-12-24
• 公開（公告）號: CN112565042A
• 公開（公告）日: 2021-03-26
• 發明（設計）人: 張輝;鐘松延;熊金國;張博羿
• 申請（專利權）人: 航天科工網絡信息發展有限公司
• 主分類號: H04L12/44
• 分類號: H04L12/44;H04L29/08;G06F16/25
• 代理公司: 中國兵器工業集團公司專利中心 11011
• 代理人: 張然

1.一種星形結構數據交換的方法，其特征在于，包括：

數據傳輸鏈路采用星形拓撲結構，源端和目的端的數據交換通過中央控制節點，中央控制節點實現數據中繼和數據處理功能，負責接收源端數據源的信息，并轉發給目的數據源；將數據交換的內容轉化為統一為中間數據格式，實現異構數據源間的統一數據處理和交換；

數據交換邏輯包括Job和Task兩個維度，Job表示一道數據同步作業；Task表示數據同步作業切分后的小任務；將一個Job分解成多個并發的Task；

Job下發到執行網關，執行網關是物理機器資源的抽象和封裝，如果是非分布式Job，網關會尋找一臺合適的機器運行同步進程，如果是分布式執行模式，會對任務做切分，在分布式機器上執行同步；

Job啟動后，根據不同的源端切分策略，將Job切分成多個小的子任務，以便于并發執行；

切分多個子任務之后，根據配置的并發數據量，將拆分成的多個子任務重新組合成任務組，每一個任務組負責以并發運行分配的所有子任務。

2.如權利要求1所述的星形結構數據交換的方法，其特征在于，中央控制節點作為中間傳輸載體負責連接各種數據源，當需要接入一個新的數據源的時候，將此數據源對接到中央控制節點。

3.如權利要求1所述的星形結構數據交換的方法，其特征在于，中央控制節點采用Framework+plugin架構構建。

4.如權利要求1所述的星形結構數據交換的方法，其特征在于，Task是中央控制節點作業的最小單元，每一個Task都會負責一部分數據的同步工作。

5.如權利要求1所述的星形結構數據交換的方法，其特征在于，切分多個子任務之后，Job根據配置的并發數據量，將拆分成的Task 重新組合，組裝成任務組。

6.如權利要求1所述的星形結構數據交換的方法，其特征在于，每一個子任務都由任務組負責啟動，子任務啟動后，會固定啟動讀取—通道—寫入的線程來完成任務同步工作。

7.如權利要求1所述的星形結構數據交換的方法，其特征在于，中央控制節點作業運行起來之后，Job監控并等待多個任務組的任務完成，等待所有任務組的任務完成后Job成功退出，否則，異常退出。

8.如權利要求1所述的星形結構數據交換的方法，其特征在于，中央控制節點提供一套抽象化的數據抽取插件Reader以及數據寫入插件Writer。

9.如權利要求1所述的星形結構數據交換的方法，其特征在于，在做數據傳輸之前，對Job的傳輸進行參數的配置，包括數據源端、目標端、數據過濾轉換邏輯、流速閾值、臟數據閾值以及與其他Job的依賴關系。

10.如權利要求1所述的星形結構數據交換的方法，其特征在于，啟動Job之前，對Job做安全和權限校驗，如果作業任務配置不合法，會返回響應的錯誤信息。