[發明專利]一種數據處理方法和裝置

在審

• 申請號: 201610705863.8
• 申請日: 2016-08-22
• 公開（公告）號: CN107766392A
• 公開（公告）日: 2018-03-06
• 發明（設計）人: 湯景柱
• 申請（專利權）人: 南京中興軟件有限責任公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 工業和信息化部電子專利中心11010
• 代理人: 吳永亮

1.一種數據處理方法，其特征在于，包括：

對待處理文件進行劃分，得到N份分割數據，其中，N為正整數；

按照預設的上下文關聯長度，對所述N份分割數據進行關聯劃分，生成N份分割關聯數據，其中，所述分割關聯數據與所述分割數據是一一對應的關系；

對所述N份分割數據和所述N份分割關聯數據進行合并處理，得到N份合并數據；

對所述N份合并數據中的每份合并數據分別進行處理，得到N份處理結果；

匯總所述N份處理結果，得到輸出數據。

2.如權利要求1所述的方法，其特征在于，對待處理文件進行劃分，得到N份分割數據，包括：

統計所述待處理文件的文件總大小；

根據所述文件總大小，按照每份分割數據的大小相等的原則，將所述待處理文件劃分為N份分割數據。

3.如權利要求1所述的方法，其特征在于，對所述N份合并數據中的每份合并數據分別進行處理，得到N份處理結果，包括：

將所述N份合并數據中的每份合并數據作為一個計算任務，得到N個計算任務；

對所述N個計算任務并行進行處理。

4.如權利要求1所述的方法，其特征在于，按照預設的上下文關聯長度，對所述N份分割數據進行關聯劃分，生成N份分割關聯數據，包括：

按照所述預設的上下文關聯長度，截取所述當前份分割數據的下一份分割數據中前所述預設的上下文關聯長度的數據，作為與所述當前份分割數據對應的分割關聯數據；

或者，按照所述預設的上下文關聯長度，截取所述當前份分割數據的上一份分割數據中后所述預設的上下文關聯長度的數據，作為與所述當前份分割數據對應的分割關聯數據。

5.如權利要求1至4中任一項所述的方法，其特征在于，

在對待處理文件進行劃分，得到N份分割數據之后，所述方法還包括：對所述N份分割數據一一進行編號；

在按照所述預設的上下文關聯長度，對所述N份分割數據進行關聯劃分，生成N份分割關聯數據之后，所述方法還包括：對所述N份分割關聯數據一一進行編號，且每份分割關聯數據與對應的分割數據的編號是相同的；

相應的，對所述N份分割數據和所述N份分割關聯數據進行合并處理，得到N份合并數據，包括：讀取編號相同的分割數據和分割關聯數據進行合并，得到N份合并數據。

6.一種數據處理裝置，其特征在于，包括：

劃分模塊，用于對待處理文件進行劃分，得到N份分割數據，其中，N為正整數；

關聯模塊，用于按照預設的上下文關聯長度，對所述N份分割數據進行關聯劃分，生成N份分割關聯數據，其中，所述分割關聯數據與所述分割數據是一一對應的關系；

合并模塊，用于對所述N份分割數據和所述N份分割關聯數據進行合并處理，得到N份合并數據；

處理模塊，用于對所述N份合并數據中的每份合并數據分別進行處理，得到N份處理結果；

輸出模塊，用于匯總所述N份處理結果，得到輸出數據。

7.如權利要求6所述的裝置，其特征在于，所述劃分模塊包括：

統計單元，用于統計所述待處理文件的文件總大小；

劃分單元，用于根據所述文件總大小，按照每份分割數據的大小相等的原則，將所述待處理文件劃分為N份分割數據。

8.如權利要求6所述的裝置，其特征在于，所述處理模塊包括：

確定單元，用于將所述N份合并數據中的每份合并數據作為一個計算任務，得到N個計算任務；

處理單元，用于對所述N個計算任務并行進行處理。

9.如權利要求6所述的裝置，其特征在于，所述關聯模塊具體用于按照所述預設的上下文關聯長度，截取所述當前份分割數據的下一份分割數據中前所述預設的上下文關聯長度的數據，作為與所述當前份分割數據對應的分割關聯數據；

或者，按照所述預設的上下文關聯長度，截取所述當前份分割數據的上一份分割數據中后所述預設的上下文關聯長度的數據，作為與所述當前份分割數據對應的分割關聯數據。

10.如權利要求6至9中任一項所述的裝置，其特征在于，還包括：

第一編碼模塊，用于在對待處理文件進行劃分，得到N份分割數據之后，對所述N份分割數據一一進行編號；

第二編碼模塊，用于在按照預設的上下文關聯長度，對所述N份分割數據進行關聯劃分，生成N份分割關聯數據之后，對所述N份分割關聯數據一一進行編號，且每份分割關聯數據與對應的分割數據的編號是相同的；

相應的，所述合并模塊具體用于讀取編號相同的分割數據和分割關聯數據進行合并，得到N份合并數據。