[發明專利]高性能分布式數據轉換的方法、裝置及系統

有效

• 申請號: 201611201562.8
• 申請日: 2016-12-22
• 公開（公告）號: CN106777180B
• 公開（公告）日: 2020-09-01
• 發明（設計）人: 楊博文;賴韜;吳武桓;吳佳林
• 申請（專利權）人: 北京京東金融科技控股有限公司
• 主分類號: G06F16/11
• 分類號: G06F16/11;G06F16/182
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 張一軍;趙靜

本發明提供一種高性能分布式數據轉換的方法、裝置及系統，能夠基于時間刻度進行任務調度，并對要執行海量數據的任務進行拆分，提高任務執行效率，提升容錯率，且利用高效的文件轉換模板，能夠保證數據轉換的高性能。該方法包括：配置并保存數據轉換模板；獲取待執行任務，然后根據待執行任務獲取所述待執行任務要執行的數據總量；根據所述數據總量將所述待執行任務拆分成若干子任務，然后根據子任務獲取子任務數據；利用所述數據轉換模板對子任務數據進行轉換，得到目標轉換數據，然后將所述目標轉換數據保存至目標轉換文件中。

技術領域

本發明涉及計算機技術及軟件領域，尤其涉及一種高性能分布式數據轉換的方法、裝置及系統。

背景技術

在不同公司間的信息系統對接過程中，經常遇到通過文件來交互數據的場景，這就需要將存在于數據庫中的數據按照一定的格式生成對應的數據文件。當交互的數據量很大的時候，就需要一種快速、高效、穩定的生成數據文件的功能模塊。

現有常見的數據轉換，以實現文件生成的方案大致包括如下步驟：

1、利用定時任務在指定的時間點啟動生成數據文件的任務；

2、根據任務參數從數據庫中查詢出相應的數據；

3、將查詢到的數據全部加載到內存中，通過模板進行轉換；

4、如果任務執行失敗，從步驟1重新開始；

5、將生成的數據通過字節流生成數據文件。

但上述方案存在如下不足之處：

1、現有的任務調度：基于Java的Timer、Quartz等，都是基于時間的調度，如果由于異常問題錯過了時間點，任務將不會再執行，并且只能執行串行任務；

2、現有的生成文件方案：將所有數據全部加載到內存中，一次性轉換成對應的數據格式。但是如果將所有數據一次性加載到內存中，容易導致內存溢出；且大批量數據將會導致任務執行時間過長，只能采用單機生成文件，從而致使轉換性能差風險高；另外，任務執行失敗后需要重新獲取全部數據，不能將大量數據任務拆分成多個子任務，任務重新執行的成本比拆分后的子任務重新執行成本高。

3、現有的文件上傳策略：采用覆蓋式，即相同文件進行數據覆蓋，導致之前上傳成功的有效數據部分被重新覆蓋，造成數據傳輸浪費。

4、此外，現有技術中常用的數據轉換模板有Freemarker、Velocity、HTTL等，但基于Freemarker、Velocity、HTTL的模板，在轉換性能上較差，生成海量數據的數據文件時耗時長，并且語言標簽繁瑣。

發明內容

有鑒于此，本發明提供一種高性能分布式數據轉換的方法、裝置及系統，能夠基于時間刻度進行任務調度，并對要執行海量數據的任務進行拆分，提高任務執行效率，提升容錯率，且利用高效的文件轉換模板，能夠保證數據轉換的高性能。

為實現上述目的，根據本發明的一個方面，提供了一種高性能分布式數據轉換的方法。

本發明的一種高性能分布式數據轉換的方法包括：配置并保存數據轉換模板；獲取待執行任務，然后根據待執行任務獲取所述待執行任務要執行的數據總量；根據所述數據總量將所述待執行任務拆分成若干子任務，然后根據子任務獲取子任務數據；利用所述數據轉換模板對子任務數據進行轉換，得到目標轉換數據，然后將所述目標轉換數據保存至目標轉換文件中。

可選地，配置數據轉換模板還包括：配置Beetl模板作為數據轉換模板，以便實現高性能的數據轉換。

可選地，配置Beetl模板作為數據轉換模板還包括：剔除Beetl模板中自帶的合法性校驗功能；以及對Beetl模板中原生的數據加載和渲染方法進行優化整合，然后對Beetl模板的接口進行二次封裝，以進一步提高Beetl模板的數據轉換性能。