[發明專利]一種非結構化數據文件解析方法及工具

在審

• 申請號: 202010595944.3
• 申請日: 2020-06-28
• 公開（公告）號: CN111723067A
• 公開（公告）日: 2020-09-29
• 發明（設計）人: 張洪超;國靖
• 申請（專利權）人: 浪潮卓數大數據產業發展有限公司
• 主分類號: G06F16/18
• 分類號: G06F16/18;G06F40/205;G06F16/17;G06F16/16
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 郗艷榮

1.一種非結構化數據文件解析方法，其特征在于：基于數據處理相關python類包，結合Java與JS數據處理算法，實現對各類非結構化數據文件的高兼容，提高數據解析的速度，在保證效率的同時也要保證數據解析的準確性與工具易用性；

具體包括以下步驟：

第一步，配置讀取路徑，寫入路徑與解析規則；

第二步，管理并啟動解析任務；

第三步，對解析任務進行實時監控，當解析任務現錯誤時，反饋錯誤原因，并提供建議修復方案或自定義修復方案。

2.根據權利要求1所述的非結構化數據文件解析方法，其特征在于：解析規則采用自動配置的方式，同時也支持自定義算法。

3.根據權利要求1所述的非結構化數據文件解析方法具，其特征在于：解析任務支持定時執行，自啟動執行和實時執行三種方式。

4.根據權利要求1所述的非結構化數據文件解析方法，其特征在于：在數據解析過程中，生成相應的解析日志，用于校驗與糾錯。

5.根據權利要求4所述的非結構化數據文件解析方法，其特征在于：所述解析日志以JSON格式寫入日志文件jobname_YYYYMMDD.log。

6.根據權利要求4或5所述的非結構化數據文件解析方法，其特征在于：所述解析日志文件按天分片，每個任務每天只產生一個日志文件。

7.一種基于權利要求1～6所述的非結構化數據文件解析方法的解析工具，其特征在于：包括規則配置模塊，任務管理模塊，任務監控模塊和任務修復模塊；

所述規則配置模塊支持多種解析規則或自定義規則配置，用于配置讀取路徑、寫入路徑、解析規則；

所述任務管理模塊用于進行多任務管理及啟動，提供定時執行，自啟動執行與實時執行三種執行方式；

所述任務監控模塊與修復模塊相結合提供解析任務修復功能。

8.根據權利要求7所述的非結構化數據文件解析方法的解析工具，其特征在于：所述任務監控模塊用于實時監控解析任務的執行狀況，并生成相應的解析日志，將報錯任務交予修復模塊進行修復；

當解析任務出現錯誤時，所述修復模塊用于反饋錯誤原因，并提供建議修復方案或自定義修復方案。