[發明專利]一種基于ETL技術協同多通訊協議的數據交換方法及裝置

有效

• 申請號: 201710193992.8
• 申請日: 2017-03-28
• 公開（公告）號: CN107135198B
• 公開（公告）日: 2021-04-16
• 發明（設計）人: 鄒紀根;劉紅鑫
• 申請（專利權）人: 深圳市卓訊信息技術有限公司
• 主分類號: H04L29/06
• 分類號: H04L29/06
• 代理公司: 北京化育知識產權代理有限公司 11833
• 代理人: 尹均利

本發明實施例公開了一種基于ETL技術協同多通訊協議的數據交換方法，包括：接收用戶的攜帶數據類型的數據交換請求；從至少兩種通訊協議中確定出支持第一數據類型的第一通訊協議，通過第一通訊協議連接源端，從源端獲取數據；根據數據交換請求將第一數據類型的數據轉換為第二數據類型的數據；從至少兩種通訊協議中確定出支持第二數據類型的第二通訊協議，并通過第二通訊協議連接目的端，將數據發送至所述目的端。本發明實施例能夠支持多種通訊協議，實現對數據進行靈活、高效地轉換和處理，且所有操作都是獨立可復用的，滿足用戶對于交換平臺的多樣化需求，提升了用戶體驗度。

技術領域

本發明涉及數據處理領域，尤其涉及一種基于ETL(Extract-Transform-Load，抽取-轉換-加載)技術協同多通訊協議的數據交換方法及裝置。

背景技術

目前隨著大數據時代的到來，政府、企業都通過構建數據交換平臺，整合現有數據資源，目的在于為跨部門和跨單位的業務系統等提供數據支撐。建立統一的數據中心旨在打破信息孤島，滿足各業務部門和單位對于信息互聯互通和共享交換的需求，并且能夠為政府、企業和社會提供全方位、實時的基礎信息服務。

但是現有的數據交換平臺，絕大多數實現技術方案都是針對單一通訊協議的，只能進行簡單的數據表到數據表的傳輸，且在實現過程中是不可復用的，不對數據進行加工處理的。這就無法滿足用戶對于交換平臺的多樣化需求，極大降低了用戶體驗。

發明內容

本發明實施例公開了一種基于ETL技術協同多通訊協議的數據交換方法及裝置，能夠支持多種通訊協議，實現對數據進行靈活、高效地格式轉換和處理，且所有數據處理操作都是獨立可復用的，能夠滿足用戶對于交換平臺的多樣化需求，提升了用戶體驗度。

本發明實施例第一方面公開了一種基于ETL技術協同多通訊協議的數據交換方法，包括：接收用戶的攜帶數據類型的數據交換請求，所述數據交換請求用于請求將源端數據進行轉換處理并交換到目的端，所述數據類型包括：源端數據的第一數據類型、目的端數據的第二數據類型；從至少兩種通訊協議中確定出支持所述第一數據類型的第一通訊協議，通過所述第一通訊協議連接所述源端，從所述源端獲取數據；根據所述數據交換請求將所述第一數據類型的數據轉換為所述第二數據類型的數據；從至少兩種通訊協議中確定出支持所述第二數據類型的第二通訊協議，并通過所述第二通訊協議連接所述目的端，將所述數據發送至所述目的端。

在一種可選方案中，在第一方面提供的方法中，所述方法在根據所述數據交換請求將所述第一數據類型的數據轉換為所述第二數據類型的數據之前，還包括：對所述數據進行清洗處理，所述清洗處理包括：合并字段、剪切字符串、去除重復記錄、拆分字段、排序記錄、替換空值、合并結果集。

在一種可選方案中，在第一方面提供的方法中，所述第一通訊協議包括至少兩個通訊協議，所述通過所述第一通訊協議連接所述源端包括：從所述至少兩個通訊協議中選擇一個通訊協議，并通過選擇的通訊協議連接所述源端。

在一種可選方案中，在第一方面提供的方法中，所述第一數據類型包括：結構化數據、非結構化數據，所述第二數據類型包括：所述結構化數據、所述非結構化數據，所述根據所述數據交換請求將所述第一數據類型的數據轉換為所述第二數據類型的數據具體包括：根據所述數據交換請求將所述結構化數據轉換為所述非結構化數據；或者，根據所述數據交換請求將所述非結構化數據轉換為結構化數據。

在一種可選方案中，在第一方面提供的方法中，將所述轉換之后的數據發布為數據服務，所述數據服務用于為本地或者外部用戶提供訪問。