[發明專利]數據格式轉換方法及裝置

在審

• 申請號: 202010905102.3
• 申請日: 2020-09-01
• 公開（公告）號: CN112035459A
• 公開（公告）日: 2020-12-04
• 發明（設計）人: 李楊帆
• 申請（專利權）人: 中國銀行股份有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/25
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 谷敬麗;周曉飛

本發明公開了一種數據格式轉換方法及裝置，其中該方法包括：接收用戶設定的數據源地址和目標地址，以及所需引用的loader、filter、service類，以及設定了目標導入規則的exporter；啟動loader線程從數據源地址中讀取目標數據，將目標數據轉換為實體類數據；將實體類數據傳入filter，啟動filter線程按照預設的數據過濾規則對實體類數據進行清洗過濾；啟動service線程按照預設的業務處理邏輯對清洗過濾后的實體類數據進行邏輯處理；啟動exporter線程讀取邏輯處理后的實體類數據，并將邏輯處理后的實體類數據寫入目標地址。本發明可以快速、可靠、簡便的實現數據格式轉換過程。

技術領域

本發明涉及大數據處理技術領域，尤其涉及一種數據格式轉換方法及裝置。

背景技術

本部分旨在為權利要求書中陳述的本發明實施例提供背景或上下文。此處的描述不因為包括在本部分中就承認是現有技術。

在實際業務場景中，業務部門可以從多渠道獲取客戶數據。面對不同的數據源，獲取的客戶數據的格式也多種多樣，例如文本數據、后臺oracle導出數據、excel數據，也可能是hive、hbase或mango等大數據等。在接收到客戶數據之后，往往需要將其轉換為統一格式的數據，以便于后續按照相同的邏輯進行業務處理。

現有的數據格式轉換方案，不同格式的數據需要分別處理，這樣有多少種數據就需要處理多少次，重復工作量很大，處理周期長；同時，再每處理完一種格式的數據之后處理下一種格式的數據之時，需要按照下一種數據的格式將全部代碼更改一遍，更改后的代碼需要全盤測試，導致測試工作量大，還要求開發人員排查問題能力強，以便于及時修改代碼測試中出現的問題，否則嚴重影響后續的數據處理過程的進行。可見，如何提供一種快速、可靠且實現簡便的數據格式轉換方法，成為目前亟待解決的問題。

發明內容

本發明實施例提供一種數據格式轉換方法，用以快速、可靠、簡便的實現數據格式轉換過程，該方法包括：

接收用戶設定的數據源地址和目標地址，以及所需引用的loader、filter、service類，以及設定了目標導入規則的exporter，其中，loader用于讀取至少一種指定格式的數據，目標導入規則定義了以目標地址存儲數據的格式向目標地址寫入數據；

啟動loader線程從數據源地址中讀取目標數據，將目標數據轉換為實體類數據；

將實體類數據傳入filter，啟動filter線程按照預設的數據過濾規則對實體類數據進行清洗過濾；

將清洗過濾后的實體類數據傳入service類，啟動service線程按照預設的業務處理邏輯對清洗過濾后的實體類數據進行邏輯處理；

啟動exporter線程讀取邏輯處理后的實體類數據，并將邏輯處理后的實體類數據寫入目標地址。

本發明實施例還提供一種數據格式轉換裝置，用以快速、可靠、簡便的實現數據格式轉換過程，該裝置包括：

接收模塊，用于接收用戶設定的數據源地址和目標地址，以及所需引用的loader、filter、service類，以及設定了目標導入規則的exporter，其中，loader用于讀取至少一種指定格式的數據，目標導入規則定義了以目標地址存儲數據的格式向目標地址寫入數據；

數據讀取模塊，用于啟動loader線程從數據源地址中讀取目標數據，將目標數據轉換為實體類數據；

數據清洗模塊，用于將數據讀取模塊轉換的實體類數據傳入filter，啟動filter線程按照預設的數據過濾規則對實體類數據進行清洗過濾；

邏輯處理模塊，用于將經過數據清洗模塊清洗過濾后的實體類數據傳入service類，啟動service線程按照預設的業務處理邏輯對清洗過濾后的實體類數據進行邏輯處理；