[發明專利]一種多數據源接入的方法及系統

在審

• 申請號: 201710386653.1
• 申請日: 2017-05-26
• 公開（公告）號: CN107276992A
• 公開（公告）日: 2017-10-20
• 發明（設計）人: 楊小進;丁必為;盛尊闊;戴紅旗;陳世軍
• 申請（專利權）人: 億海藍（北京）數據技術股份公司
• 主分類號: H04L29/06
• 分類號: H04L29/06;G06F9/445
• 代理公司: 北京路浩知識產權代理有限公司11002
• 代理人: 王瑩

技術領域

本發明涉及計算機網絡技術領域，尤其涉及一種多數據源接入的方法及系統。

背景技術

目前，有許多業務系統服務端需要接入多數據源的數據。例如在船舶航海領域，在船舶避免碰撞技術方面，20世紀末人們利用無線電技術開發出了船舶自動識別系統(Automatic Identification System，簡稱AIS)，爾后結合計算機網絡和軟件技術，在21世紀初出現了AIS船舶監控系統，能將AIS數據結合地理信息系統(Geographic Information System，簡稱GIS)展示到網站頁面或客戶端，以便于人們跟蹤監控船舶的實時動態。由于AIS數據信息收集主要靠AIS基站或衛星，對于遍布全球的船舶來說，可能需要匯集多家公司的數據才能得到盡可能全的數據覆蓋，所以監控系統服務端的設計必須考慮可同時接入多家公司的AIS數據。

由于每家數據公司提供AIS數據源接入的方式不統一，常見的方式有：TCP(傳輸控制協議)、UDP(用戶數據報協議)、Http(超文本傳輸協議)和WebService等，并且還可能使用不同傳輸內容的數據協議格式，如：原始AIS報文、在原始AIS報文基礎上做了擴展的報文、二進制報文等等。這就要求系統在設計時要考慮對有差別的數據源能有很好的支持。

假設要接入三個數據源：數據源A、數據源B和數據源C，目前包括兩種常見的多數據源接入方案。

參見圖1，第一種方案包括：開發AIS業務系統服務；在業務系統服務中創建數據源A的接入模塊，用來接入數據源A的AIS數據；在業務系統服務中創建數據源B的接入模塊，用來接入數據源B的AIS數據；在業務系統服務中創建數據源C的接入模塊，用來接入數據源C的AIS數據；這樣業務系統就同時匯集了三種AIS數據源的數據，然后對接入的AIS協議數據進行解析和整合，來滿足業務系統的各種使用場景。

參見圖2，第二種方案考慮到基本擴展性，基于第一種方案并采用分層架構，包括：將數據接入功能獨立出來，創建一個獨立的服務，稱之為數據接入服務；在接入服務中創建數據源A的接入模塊，用來接入數據源A的AIS數據；在接入服務中創建數據源B的接入模塊，用來接入數據源B的AIS數據；在接入服務中創建數據源C的接入模塊，用來接入數據源C的AIS數據；在數據接入服務中將三種數據源的數據進行解析和整合，并向上層提供數據接口；開發AIS業務系統服務；在AIS業務系統服務中創建AIS數據接入模塊，從數據接入服務接入AIS數據，并參與業務邏輯；本方案因為采用分層設計，能支持多個業務系統服務。

但是在實際場景中，上述兩種方案都存在很大的問題就是不夠靈活，擴展性差。盡管第二種方案在第一種方案的基礎上進行了改進，但還是不足以應對實際使用的要求。例如，當增加一個新的數據源D時，對于第一種方案必須修改已經部署好的業務服務，在其中增加新的數據源D接入模塊。這樣的結果是，不斷增加原有業務系統服務的復雜性，同時當有其他業務系統也想接入這些AIS數據時難以實現，十分不便；而第二種方案能同時接入多個業務系統，但是當接入的業務系統過多時，數據壓力最終都會集中在一個數據接入服務上，難以分散，這就限制了系統的擴展，并增加了系統的不穩定性。

鑒于此，如何提供一種具備良好擴展性的多數據源接入的方法及系統，以避免現有技術中多數據源接入時不夠靈活、擴展性差、難以實現以及系統不穩定的缺陷成為目前需要解決的技術問題。

發明內容

為解決上述的技術問題，本發明提供一種多數據源接入的方法及系統，能夠解決現有技術中多數據源接入時不夠靈活、擴展性差、難以實現以及系統不穩定的問題。

第一方面，本發明提供一種多數據源接入的方法，包括：

設立一數據接入層，以及創建數據接入服務主程序；

根據預設的每一種類型數據源的接入方式和數據協議格式，創建預設的每一種類型數據源對應的動態鏈接庫插件；

針對預設的每一種類型數據源，在所述數據接入層創建一個對應的數據接入服務，其中，對于預設的任意一種類型數據源：

在所述數據接入層中對應該種類型數據源所創建的數據接入服務，用于通過所述數據接入服務主程序調用該種類型數據源對應的動態鏈接庫插件，接入該種類型數據源的數據并進行解析，將解析后的數據發送給上層業務系統服務中預先動態配置有該種類型數據源的業務服務，以使所述業務服務接入該種類型數據源的數據。

可選地，每個數據接入服務支持提供同一種類型數據源的數據的至少一個客戶端；

和/或，