[發明專利]一種文件處理方法、裝置、計算機可讀存儲介質及服務器

在審

• 申請號: 202210072391.2
• 申請日: 2022-01-21
• 公開（公告）號: CN114398332A
• 公開（公告）日: 2022-04-26
• 發明（設計）人: 劉芳君
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F16/176
• 分類號: G06F16/176;G06F16/182;G06F16/13
• 代理公司: 深圳中一聯合知識產權代理有限公司 44414
• 代理人: 劉永康

本發明屬于人工智能技術領域，尤其涉及一種文件處理方法、裝置、計算機可讀存儲介質及服務器。所述方法包括：通過文件輪詢作業節點從目標文件源中獲取文件信息，根據文件信息生成對應的文件任務信息，并將文件任務信息存儲入文件任務表中；通過文件下載作業節點讀取表中的文件任務信息，并根據文件任務信息從目標文件源中下載文件；通過文件校驗作業節點調度第一數目的文件校驗作業分片分別對文件進行校驗操作；通過文件入庫作業節點調度第二數目的文件入庫作業分片分別對文件進行文件解析，并將其插入庫表中；通過文件上傳作業節點調度第三數目的文件上傳作業分片分別將庫表中的文件解析信息生成本地文件，并將其上傳至分布式文件系統。

技術領域

本發明屬于人工智能技術領域，尤其涉及一種文件處理方法、裝置、計算機可讀存儲介質及服務器。

背景技術

隨著計算機技術的發展，越來越多的技術應用在金融領域，傳統金融業正在逐步向金融科技(Fintech)轉變，但由于金融行業的安全性、實時性要求，也對技術提出了更高的要求。在現代金融企業應用當中，在復雜的業務場景下，會產生海量的數據文件，相比于傳統金融企業，數據文件呈現數倍、數十倍、甚至上百倍的迅猛增長，而目前的金融企業所采用的仍然是傳統的文件處理方式，即按固有的順序對文件進行處理，上一文件的全部處理過程完成之后，再進行下一文件的處理，這些方式針對的是小數據量下的文件處理，處理效率較低，越來越難以滿足當前對海量文件的處理需求。

發明內容

有鑒于此，本發明實施例提供了一種文件處理方法、裝置、計算機可讀存儲介質及服務器，以解決現有的文件處理方式處理效率較低的問題。

本發明實施例的第一方面提供了一種文件處理方法，可以包括：

通過預設的文件輪詢作業節點從指定的目標文件源中獲取文件信息，根據獲取的文件信息生成對應的文件任務信息，并將生成的文件任務信息存儲入預設的文件任務表中；

通過預設的文件下載作業節點讀取所述文件任務表中的文件任務信息，并根據讀取的文件任務信息從所述目標文件源中下載對應的文件；

通過預設的文件校驗作業節點調度預設的第一數目的文件校驗作業分片分別對下載的文件進行校驗操作；

通過預設的文件入庫作業節點調度預設的第二數目的文件入庫作業分片分別對校驗操作后的文件進行文件解析，并將得到的文件解析信息插入預設的庫表中；

通過預設的文件上傳作業節點調度預設的第三數目的文件上傳作業分片分別將所述庫表中的文件解析信息生成本地文件，并將生成的本地文件上傳至預設的分布式文件系統。

在第一方面的一種具體實現方式中，所述根據獲取的文件信息生成對應的文件任務信息，可以包括：

將獲取的文件信息與在預設文件配置表中注冊的文件配置數據進行正則匹配；

若匹配不成功，則在預設的異常信息表中記錄異常信息；

若匹配成功，則提取匹配到的文件配置數據中的輪詢標志位；

若所述輪詢標志位為預設的第一取值，則在所述異常信息表中記錄異常信息；

若所述輪詢標志位為預設的第二取值，則根據匹配到的文件配置數據生成文件任務信息。

在第一方面的一種具體實現方式中，所述將生成的文件任務信息存儲入預設的文件任務表中，可以包括：

在所述文件任務表中查詢是否存在與生成的文件任務信息相同的文件任務信息；

若在所述文件任務表中存在相同的文件任務信息，則在預設的異常信息表中記錄異常信息；

若在所述文件任務表中不存在相同的文件任務信息，則將生成的文件任務信息存儲入預設的文件任務表中。