[發(fā)明專利]采用向量處理的同時(shí)分割

在審

• 申請?zhí)枺?/td>: 201680003266.9
• 申請日: 2016-04-19
• 公開（公告）號: CN107004031A
• 公開（公告）日: 2017-08-01
• 發(fā)明（設(shè)計(jì)）人: 邁克爾·赫希;亞伊爾·托弗;大衛(wèi)·葉赫那坦
• 申請（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種分割輸入數(shù)據(jù)流的系統(tǒng)，其特征在于，包括：

處理器，用于：

將輸入數(shù)據(jù)流拆分成多個(gè)子數(shù)據(jù)流，使得所述多個(gè)子數(shù)據(jù)流的每個(gè)子數(shù)據(jù)流與所述多個(gè)子數(shù)據(jù)流中與其相鄰的子數(shù)據(jù)流具有重疊部分；

在所述處理器的處理管線中同時(shí)分割所述多個(gè)子數(shù)據(jù)流以創(chuàng)建多個(gè)分割的子數(shù)據(jù)流；

根據(jù)所述多個(gè)子數(shù)據(jù)流中的每兩個(gè)連續(xù)子數(shù)據(jù)流的重疊部分的至少一個(gè)重疊分段同步所述多個(gè)分割的子數(shù)據(jù)流的每個(gè)分割的子數(shù)據(jù)流的排序，連接所述多個(gè)分割的子數(shù)據(jù)流以創(chuàng)建分割的數(shù)據(jù)流。

2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述處理器是單指令多數(shù)據(jù)(single-instruction-multiple-data，簡稱SIMD)處理器。

3.根據(jù)權(quán)利要求1或2所述的系統(tǒng)，其特征在于，所述處理器用于：計(jì)算滾動序列的滾動哈希值；其中，所述滾動序列應(yīng)用于所述多個(gè)子數(shù)據(jù)流中的每個(gè)子數(shù)據(jù)流的連續(xù)數(shù)據(jù)項(xiàng)的多個(gè)序列中的每個(gè)序列；當(dāng)所述滾動哈希值符合至少一個(gè)分割標(biāo)準(zhǔn)時(shí)將序列指定為可變長分段以分割所述多個(gè)子數(shù)據(jù)流中的每個(gè)子數(shù)據(jù)流，其中，所述滾動序列包括序列的連續(xù)數(shù)據(jù)項(xiàng)的子集。

4.根據(jù)權(quán)利要求1至3中任一項(xiàng)所述的系統(tǒng)，其特征在于，所述多個(gè)序列的每個(gè)序列包括預(yù)定義的最少連續(xù)數(shù)據(jù)項(xiàng)。

5.根據(jù)權(quán)利要求1至4中任一項(xiàng)所述的系統(tǒng)，其特征在于，當(dāng)在檢測所述滾動哈希值對所述至少一個(gè)分割標(biāo)準(zhǔn)的符合性之前，所述多個(gè)序列中的至少一個(gè)大序列的連續(xù)數(shù)據(jù)項(xiàng)的數(shù)量超過預(yù)定義最大值，所述處理器用于將所述至少一個(gè)大序列指定為可變長分段。

6.根據(jù)權(quán)利要求1至5中任一項(xiàng)所述的系統(tǒng)，其特征在于，所述處理器用于當(dāng)所述同步失敗時(shí)，依次分割所述輸入數(shù)據(jù)流。

7.一種分割輸入數(shù)據(jù)流的方法，其特征在于，包括：

將輸入數(shù)據(jù)流拆分成多個(gè)子數(shù)據(jù)流，使得所述多個(gè)子數(shù)據(jù)流的每個(gè)子數(shù)據(jù)流與所述多個(gè)子數(shù)據(jù)流中與其相鄰的子數(shù)據(jù)流具有重疊部分；

在處理器的處理管線中同時(shí)分割所述多個(gè)子數(shù)據(jù)流以創(chuàng)建多個(gè)分割的子數(shù)據(jù)流；

根據(jù)所述多個(gè)子數(shù)據(jù)流中的每兩個(gè)連續(xù)子數(shù)據(jù)流的重疊部分的至少一個(gè)重疊分段同步所述多個(gè)分割的子數(shù)據(jù)流的每個(gè)分割的子數(shù)據(jù)流的排序，連接所述多個(gè)分割的子數(shù)據(jù)流以創(chuàng)建分割的數(shù)據(jù)流。

8.根據(jù)權(quán)利要求7所述的方法，其特征在于，計(jì)算滾動序列的滾動哈希值；其中，所述滾動序列應(yīng)用于所述多個(gè)子數(shù)據(jù)流的每個(gè)子數(shù)據(jù)流的連續(xù)數(shù)據(jù)項(xiàng)的多個(gè)序列中的每個(gè)序列；當(dāng)所述滾動哈希值符合至少一個(gè)分割標(biāo)準(zhǔn)時(shí)將序列指定為可變長分段以分割所述多個(gè)子數(shù)據(jù)流中的每個(gè)子數(shù)據(jù)流，其中，所述滾動序列包括序列的連續(xù)數(shù)據(jù)項(xiàng)的子集。

9.根據(jù)權(quán)利要求7或8所述的方法，其特征在于，所述多個(gè)序列的每個(gè)序列包括預(yù)定義的最少連續(xù)數(shù)據(jù)項(xiàng)。

10.根據(jù)權(quán)利要求7至9中任一項(xiàng)所述的方法，其特征在于，當(dāng)在檢測所述滾動哈希值對所述至少一個(gè)分割標(biāo)準(zhǔn)的符合性之前，所述多個(gè)序列中的至少一個(gè)大序列的連續(xù)數(shù)據(jù)項(xiàng)的數(shù)量超過預(yù)定義最大值，將所述至少一個(gè)大序列指定為可變長分段。

11.根據(jù)權(quán)利要求7至10中任一項(xiàng)所述的方法，其特征在于，當(dāng)所述同步失敗時(shí)，依次分割所述輸入數(shù)據(jù)流。