[發明專利]格式數據文件的并發處理方法、裝置及系統

有效

• 申請號: 201910837014.1
• 申請日: 2019-09-05
• 公開（公告）號: CN110532237B
• 公開（公告）日: 2022-02-08
• 發明（設計）人: 徐進;張昆;盧威
• 申請（專利權）人: 恒生電子股份有限公司
• 主分類號: G06F16/18
• 分類號: G06F16/18;G06F16/14;G06F16/16;G06F16/172
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 薛嬌

本申請提供格式數據文件的并發處理方法、裝置及系統，客戶端獲取服務端發送的文件分片元信息；客戶端從格式記錄文件中利用緩存窗口逐步讀取文件分片元信息對應的文件分片內容，使得讀取的文件分片內容于文件分片起始處確保多讀取一個分隔符長度內容，于文件分片末尾處至少多讀取一個緩存窗口的內容；在已讀取的文件分片內容中逐條解析文件分片內容并刪除首條格式記錄，當文件分片已解析的內容總長度等于文件分片長度且文件分片末條格式記錄解析尚未遇到分隔符時，繼續解析直到解析到分隔符時停止解析操作，將解析操作后多條格式記錄確定為文件分片的格式記錄集。本申請能并發讀取格式數據文件又能保證格式記錄的完整性，提高速率時保證可靠性。

技術領域

本申請涉及通信技術領域，尤其涉及格式數據文件的并發處理方法、裝置及系統。

背景技術

在異構平臺之間通常會采用格式數據文件進行數據交互，格式數據文件由多條格式記錄組成，是一類專門用于存放格式記錄的文件。格式數據文件中不同格式記錄之間采用預定義的分隔符(例如換行符[\n])分隔。

隨著通信技術的逐步發展，格式數據文件的數據量也逐漸增加(例如，逐漸增加為上百G數據量乃至上T數據量)。為了方便異構平臺之間傳輸格式數據文件，通常會對格式數據文件進行分片處理。

目前一種分片處理方案為，客戶端對格式數據文件執行分片讀取操作，調用多個線程并發讀取格式數據文件的多個文件分片并緩存至客戶端本地。但是本方案在執行讀取操作時并未考慮格式記錄的完整性，由于不同格式記錄的大小不一，所以本方案基于固定窗口大小來讀取文件分片，會導致讀取到的部分格式記錄是不完整的，可靠性較低。

目前另一種分片處理方案為，客戶端對格式數據文件進行串行讀取操作，每次讀取時會讀取完整的格式記錄。本方案中雖然可以保證格式記錄的完整性，但是串行處理的速度較低。

發明內容

鑒于此，本申請提供一種格式數據文件的并發處理方法、裝置及系統，可以并發讀取格式數據文件又能保證格式記錄的完整性，提高速率同時保證可靠性。

為了實現上述目的，本申請提供了下述技術特征：

一種格式數據文件的并發處理方法，應用于客戶端，包括：

在服務端對格式記錄文件執行邏輯分片處理獲得多個文件分片元信息后，獲取所述服務端發送的一文件分片元信息；

從格式記錄文件中，利用緩存窗口逐步讀取所述文件分片元信息對應的文件分片的內容，使得讀取到的文件分片內容于所述文件分片起始處至少多讀取一個分隔符長度內容，于所述文件分片末尾處至少多讀取一個緩存窗口的內容；

解析所述文件分片內容并刪除首條格式記錄，當解析內容長度等于文件分片長度且文件分片的末條格式記錄解析尚未遇到分隔符時繼續解析，直到解析到分隔符時停止解析操作，獲得解析操作后多條格式記錄；

將所述多條格式記錄確定為所述文件分片對應的格式記錄集。

可選的，所述文件分片元信息包括：

用于唯一表示所述格式記錄文件的文件標識；

用于表示一文件分片于所述格式記錄文件中排列位置的文件分片序號；

用于表示一文件分片字節長度的文件分片長度；

用于表示一文件分片起始位置相對于所述格式記錄文件起始位置偏移量的文件分片起始位移；

用于表示分隔符樣式或形式的分隔符樣式。

可選的，從所述服務端存儲的格式記錄文件中，利用緩存窗口逐步讀取所述文件分片元信息對應的文件分片的內容，使得讀取的文件分片內容于所述文件分片起始處至少多讀取一個分隔符長度內容，于所述文件分片末尾處至少多讀取一個緩存窗口的內容，包括：