[發明專利]格式數據文件的并發處理方法、裝置及系統

有效

• 申請號: 201910837014.1
• 申請日: 2019-09-05
• 公開（公告）號: CN110532237B
• 公開（公告）日: 2022-02-08
• 發明（設計）人: 徐進;張昆;盧威
• 申請（專利權）人: 恒生電子股份有限公司
• 主分類號: G06F16/18
• 分類號: G06F16/18;G06F16/14;G06F16/16;G06F16/172
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 薛嬌

1.一種格式數據文件的并發處理方法，其特征在于，應用于客戶端，包括：

在服務端對格式記錄文件執行邏輯分片處理獲得多個文件分片元信息后，獲取所述服務端發送的一文件分片元信息；

從格式記錄文件中，利用緩存窗口逐步讀取所述文件分片元信息對應的文件分片的內容，使得讀取到的文件分片內容于所述文件分片起始處至少多讀取一個分隔符長度內容，于所述文件分片末尾處至少多讀取一個緩存窗口的內容；

解析所述文件分片內容并刪除首條格式記錄，當解析內容長度等于文件分片長度且文件分片的末條格式記錄解析尚未遇到分隔符時繼續解析，直到解析到分隔符時停止解析操作，獲得解析操作后多條格式記錄；

將所述多條格式記錄確定為所述文件分片對應的格式記錄集；

其中，所述解析所述文件分片內容并刪除首條格式記錄，當解析內容長度等于文件分片長度且文件分片的末條格式記錄解析尚未遇到分隔符時繼續解析，直到解析到分隔符時停止解析操作，獲得解析操作后多條格式記錄，包括：

按字節識別所述文件分片內容，并統計解析內容長度；

當識別到分隔符時生成一條格式記錄，并丟棄該文件分片的首條生成的格式記錄；

循環解析所述文件分片內容并統計解析內容長度；

當解析內容長度等于文件分片長度且文件分片的末條格式記錄解析尚未遇到分隔符的情況下，繼續識別所述文件分片內容直到識別到分隔符時停止解析操作；

獲得解析操作后的多條格式記錄。

2.如權利要求1所述的方法，其特征在于，所述文件分片元信息包括：

用于唯一表示所述格式記錄文件的文件標識；

用于表示一文件分片于所述格式記錄文件中排列位置的文件分片序號；

用于表示一文件分片字節長度的文件分片長度；

用于表示一文件分片起始位置相對于所述格式記錄文件起始位置偏移量的文件分片起始位移；

用于表示分隔符樣式或形式的分隔符樣式。

3.如權利要求2所述的方法，其特征在于，從所述服務端存儲的格式記錄文件中，利用緩存窗口逐步讀取所述文件分片元信息對應的文件分片的內容，使得讀取的文件分片內容于所述文件分片起始處至少多讀取一個分隔符長度內容，于所述文件分片末尾處至少多讀取一個緩存窗口的內容，包括：

依據所述文件標識確定所述格式記錄文件；

依據服務端設置的配置文件確定緩存窗口的大小和分隔符長度；

將所述文件分片起始位移減去分隔符長度，設置為緩存窗口讀取所述文件分片的起始位置；

從所述起始位置開始，循環利用所述緩存窗口讀取所述格式記錄文件的內容，直到多個緩存窗口讀取內容總長度大于文件分片長度，以確定到達所述文件分片的末尾；

在所述文件分片的末尾處追加讀取一個緩存窗口的內容；

將針對所述文件分片所讀取的內容確定為文件分片內容。

4.如權利要求3所述的方法，其特征在于，還包括：

若所述文件分片為所述格式記錄文件的第一個分片，則在利用緩存窗口第一次讀取該文件分片時，將格式記錄文件的起始位置設置為緩存窗口讀取所述文件分片的起始位置，并于緩存窗口開始處補充一分隔符。

5.如權利要求2所述的方法，其特征在于，還包括：

向所述服務端反饋所述文件分片的讀取進度信息；

向所述服務端反饋所述文件分片的解析進度信息；

其中，所述讀取進度信息包括：文件標識、文件分片序號和文件分片的讀取結果；所述解析進度信息包括：文件標識、文件分片序號和文件分片的解析結果。

6.如權利要求5所述的方法，其特征在于，還包括：

在所述文件分片讀取結果為失敗或解析結果為失敗后，接收服務端發送的所述文件分片的文件分片元信息，重新基于文件分片元信息執行讀取操作和解析操作。