[發(fā)明專利]數(shù)據(jù)格式轉換方法及裝置

在審

• 申請?zhí)枺?/td>: 202010905102.3
• 申請日: 2020-09-01
• 公開（公告）號: CN112035459A
• 公開（公告）日: 2020-12-04
• 發(fā)明（設計）人: 李楊帆
• 申請（專利權）人: 中國銀行股份有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/25
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 谷敬麗;周曉飛

1.一種數(shù)據(jù)格式轉換方法，其特征在于，所述方法包括：

接收用戶設定的數(shù)據(jù)源地址和目標地址，以及所需引用的loader、filter、service類，以及設定了目標導入規(guī)則的exporter，其中，loader用于讀取至少一種指定格式的數(shù)據(jù)，目標導入規(guī)則定義了以目標地址存儲數(shù)據(jù)的格式向目標地址寫入數(shù)據(jù)；

啟動loader線程從數(shù)據(jù)源地址中讀取目標數(shù)據(jù)，將目標數(shù)據(jù)轉換為實體類數(shù)據(jù)；

將實體類數(shù)據(jù)傳入filter，啟動filter線程按照預設的數(shù)據(jù)過濾規(guī)則對實體類數(shù)據(jù)進行清洗過濾；

將清洗過濾后的實體類數(shù)據(jù)傳入service類，啟動service線程按照預設的業(yè)務處理邏輯對清洗過濾后的實體類數(shù)據(jù)進行邏輯處理；

啟動exporter線程讀取邏輯處理后的實體類數(shù)據(jù)，并將邏輯處理后的實體類數(shù)據(jù)寫入目標地址。

2.根據(jù)權利要求1所述的方法，其特征在于，在接收用戶設定的所需引用的service類之前，所述方法還包括：

新增service類，利用新增的service類繼承service父類；

接收用戶設定的業(yè)務處理邏輯，將業(yè)務處理處理邏輯寫入繼承后的service類的excute方法，得到可以被引用的service類。

3.根據(jù)權利要求1所述的方法，其特征在于，啟動service線程按照預設的業(yè)務處理邏輯對清洗過濾后的實體類數(shù)據(jù)進行邏輯處理，包括：

當業(yè)務處理邏輯被用戶標識為復雜邏輯時，利用service線程執(zhí)行excute方法，將清洗過濾后的實體類數(shù)據(jù)緩存至redis；

從redis中取出緩存的數(shù)據(jù)進行邏輯處理。

4.根據(jù)權利要求3所述的方法，其特征在于，所述方法還包括：

接收用戶重寫的service類的atlast方法，所述atlast方法用于指示當數(shù)據(jù)源地址中所有數(shù)據(jù)傳入service類之后進行邏輯處理；

在將清洗過濾后的實體類數(shù)據(jù)緩存至redis之后，所述方法還包括：

啟動service線程執(zhí)行atlast方法，從redis中取出清洗過濾后的實體類數(shù)據(jù)存入atlast結果，直至從數(shù)據(jù)源地址中接收的所有數(shù)據(jù)經過處理后存入atlast結果；

取出atlast結果中存儲的所有清洗過濾后的實體類數(shù)據(jù)進行邏輯處理。

5.根據(jù)權利要求1所述的方法，其特征在于，

針對loader線程在一次讀取過程中讀取的目標數(shù)據(jù)，按照loader線程處理、filter線程處理、service線程處理和exporter線程處理的順序依次處理目標數(shù)據(jù)；

針對所有目標數(shù)據(jù)，由至少一個loader線程、至少一個filter線程、至少一個service線程和至少一個exporter線程同時執(zhí)行處理過程。

6.一種數(shù)據(jù)格式轉換裝置，其特征在于，所述裝置包括：

接收模塊，用于接收用戶設定的數(shù)據(jù)源地址和目標地址，以及所需引用的loader、filter、service類，以及設定了目標導入規(guī)則的exporter，其中，loader用于讀取至少一種指定格式的數(shù)據(jù)，目標導入規(guī)則定義了以目標地址存儲數(shù)據(jù)的格式向目標地址寫入數(shù)據(jù)；

數(shù)據(jù)讀取模塊，用于啟動loader線程從數(shù)據(jù)源地址中讀取目標數(shù)據(jù)，將目標數(shù)據(jù)轉換為實體類數(shù)據(jù)；

數(shù)據(jù)清洗模塊，用于將數(shù)據(jù)讀取模塊轉換的實體類數(shù)據(jù)傳入filter，啟動filter線程按照預設的數(shù)據(jù)過濾規(guī)則對實體類數(shù)據(jù)進行清洗過濾；

邏輯處理模塊，用于將經過數(shù)據(jù)清洗模塊清洗過濾后的實體類數(shù)據(jù)傳入service類，啟動service線程按照預設的業(yè)務處理邏輯對清洗過濾后的實體類數(shù)據(jù)進行邏輯處理；

數(shù)據(jù)導入模塊，用于啟動exporter線程讀取經過邏輯處理模塊邏輯處理后的實體類數(shù)據(jù)，并將邏輯處理后的實體類數(shù)據(jù)寫入目標地址。