[發明專利]文件處理的方法及裝置

有效

• 申請號: 201810652326.0
• 申請日: 2018-06-22
• 公開（公告）號: CN109086307B
• 公開（公告）日: 2020-04-14
• 發明（設計）人: 王玉潑;吳連亮
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F16/11
• 分類號: G06F16/11;G06F16/13;G06F9/50
• 代理公司: 北京億騰知識產權代理事務所(普通合伙) 11309
• 代理人: 陳霽;周良玉

1.一種文件處理的方法，適用于通過解析設備集群針對云存儲服務器中存儲的待處理文件進行解析的情況，包括：

從所述云存儲服務器下載起始文件塊，以獲取所述待處理文件的首個行分隔符的位置，所述起始文件塊是所述待處理文件中從起始位置開始的、包括所述首個行分隔符的文件塊；

基于所述首個行分隔符的位置確定所述待處理文件的行容量；

根據預設分片行數和所述行容量，下載所述待處理文件中的第一分界文件塊，所述第一分界文件塊包括，當按照所述預設分片行數將所述待處理文件進行劃分時，劃分得到的多個分片文件中第一分片文件的結束位置的行分隔符；

至少基于所述第一分界文件塊中的行分隔符的位置，確定所述第一分片文件的第一索引數據，所述第一索引數據包括第一開始索引和第一結束索引，所述第一索引數據用于所述解析設備集群中的解析設備按照所述第一索引數據，從所述云存儲服務器解析所述第一分片文件。

2.根據權利要求1所述的方法，其中，所述從云存儲服務器下載起始文件塊包括：

從起始位置開始下載預定大小的文件塊作為起始文件塊，并從所述起始文件塊中查找行分隔符；

在未查找到行分隔符的情況下，向后增加一個預定大小的文件塊以更新所述起始文件塊，直到從中查找到首個行分隔符。

3.根據權利要求1所述的方法，其中，基于所述首個行分隔符的位置確定所述待處理文件的行容量包括：

將所述行容量確定為，所述待處理文件的起始位置至所述首個行分隔符的位置所包含的字節數。

4.根據權利要求1所述的方法，其中，根據預設分片行數和所述行容量，下載所述待處理文件中的第一分界文件塊包括：

確定所述第一分片文件的文件開始位置；

確定所述第一分界文件塊的塊開始位置為，所述文件開始位置加上分片容量的位置，所述第一分界文件塊的塊結束位置為，所述塊開始位置加上一個行容量的位置，其中，所述分片容量為，所述預設分片文件行數與所述行容量的乘積。

5.根據權利要求4所述的方法，其中，根據預設分片行數和所述行容量，下載所述待處理文件中的第一分界文件塊還包括：

按照預設分片行數和所述行容量，確定預估的第一分界文件塊；

下載所述預估的第一分界文件塊，并從所述預估的第一分界文件塊中查找行分隔符；

在未查找到行分隔符的情況下，向后增加一個行容量大小的文件塊以更新所述預估的第一分界文件塊，并下載更新后的第一分界文件塊，直到從中查找到行分隔符。

6.根據權利要求4所述的方法，其中確定所述第一分片文件的文件開始位置包括：

在所述第一分片文件是所述待處理文件的第一個分片文件的情況下，將所述待處理文件的所述起始位置作為所述第一分片文件的文件開始位置；

否則，將所述第一分片文件的前一個分片文件的結束位置作為所述文件開始位置。

7.根據權利要求1所述的方法，其中，所述第一分片文件為所述待處理文件的第一個分片文件，

所述確定所述第一分片文件的第一索引數據包括：

確定所述第一開始索指向所述待處理文件的所述起始位置；

確定所述第一結束索引指向所述第一分界文件塊中的行分隔符的位置。

8.根據權利要求1所述的方法，其中，所述方法還包括：

獲取所述待處理文件的文件大小信息；

基于所述文件大小信息檢測所述第一分界文件塊是否超出所述待處理文件的文件大小范圍；

在超出的情況下，確定最后一個分片文件的所述第一結束索引指向所述待處理文件的結束位置。

9.根據權利要求1所述的方法，其中，所述確定所述第一分片文件的第一索引數據包括：

將所述第一分片文件的前一個分片文件的結束索引作為所述第一開始索引；

確定所述第一結束索引指向所述第一分界文件塊中的行分隔符的位置。