[發明專利]用于處理字符流的方法與設備

有效

• 申請號: 200680030295.0
• 申請日: 2006-06-16
• 公開（公告）號: CN101243441A
• 公開（公告）日: 2008-08-13
• 發明（設計）人: R·D·卡梅隆
• 申請（專利權）人: 國際字符股份有限公司
• 主分類號: G06F17/22
• 分類號: G06F17/22
• 代理公司: 上海專利商標事務所有限公司
• 代理人: 李玲

1.一種用于處理字符流的方法，包括：

響應于所述字符流形成多個并行屬性位流，其中所述并行屬性位流中的每一個包括與該字符流的數據值相關聯的一個特定屬性的位值；以及

處理所述一個或多個并行屬性位流。

2.如權利要求1所述的方法，其特征在于，所述處理包括：

通過對所述并行屬性位流中的一個或多個進行操作形成一個或多個進一步的屬性流。

3.如權利要求1所述的方法，其特征在于，所述處理包括同時對所述一個或多個并行屬性位流中的多個位進行操作。

4.如權利要求3所述的方法，其特征在于，所述對多個位進行操作包括使用同時指令多數據(SIMD)計算機操作。

5.如權利要求2所述的方法，其特征在于，所述操作包括對所述并行屬性位流中的一個或多個執行布爾操作和/或移位操作。

6.如權利要求1所述的方法，其特征在于：

所述字符流是由UTF-8格式(UTF-8)的8位代碼單元的流構成的Unicode字符流；并且

所述形成包括形成8個并行屬性位流u8bit0(i)到u8bit7(i)，其中每個位流對應于所述字符流的相繼代碼單元內的單個位的位置。

7.如權利要求6所述的方法，其特征在于，所述形成包括：

執行三次二進制分割變換，其中每次變換將所述字符流分割成兩個半長的輸出流，從而三次這樣的二進制分割變換生成各自為所述字符流長度的八分之一的八個位流。

8.如權利要求6所述的方法，其特征在于，所述處理包括：

通過對所述8個并行屬性位流u8bit0(i)到u8bit7(i)執行布爾和/或移位操作形成標識UTF-8違規的UTF-8有效性屬性位流u8invalid(i)。

9.如權利要求8所述的方法，其特征在于，還包括：

使用位檢測設施分析u8invalid(i)以檢測差錯；以及

如果檢測到差錯則生成出錯信號。

10.如權利要求8所述的方法，其特征在于，所述形成u8invalid(i)包括形成以下并行屬性位流：

u8unibyte(i)＝u8bit0(i)

u8prefix(i)＝u8bit0(i)∧u8bit1(i)

u8suffix(i)＝u8bit0(i)∧u8bit1(i)

u8prefix2(i)＝u8prefix(i)∧u8bit2(i)

u8prefix3or4(i)＝u8prefix(i)∧u8bit2(i)

u8prefix3(i)＝u8prefix3or4(i)∧u8bit3(i)

u8prefix4(i)＝u8prefix3or4(i)∧u8bit3(i)

u8badpfx2(i)＝u8prefix2(i)∧

??????????????(u8bit3(i)∨u8bit4(i)∨u8bit5(i)∨u8bit6(i))

u8badpfx4(i)＝u8prefix4(i)∧

??????????????(u8bit4(i)∨u8bit5(i)∧(u8bit6(i)∨u8bit7(i)))

u8scope22(i)＝u8prefix2(i-1)

u8scope32(i)＝u8prefix3(i-1)

u8scope33(i)＝u8prefix3(i-2)

u8scope42(i)＝u8prefix4(i-1)

u8scope43(i)＝u8prefix4(i-2)

u8scope44(i)＝u8prefix4(i-3)

u8special(i)＝u8bit6(i)∧(u8bit4(i)u8bit7(i))∧

??????????????(u8bk3(i)∨((u8bit4(i)u8bit5(i))))

anyscope(i)＝u8scope22(i)∨u8scope32(i)∨u8scope33(i)∨

u8scope42(i)∨u8scope43(i)∨u8scope44(i)

u8mismatch(i)＝anyscope(i)u8suffix(i)

u8badsfx32(i)＝u8scope32(i)∧u8special(i-1)∧

???????????????(u8bit4(i-1)u8bit2(i))

u8badsfx42(i)＝u8scope42(i)∧u8special(i-1)∧

???????????????(u8bit4(i-1)(u8bit2(i)∨u8bit3(i)))

u8invalid(i)＝u8badpfx2(i)∨u8badpfx4(i)∨u8mismatch(i)∨

??????????????u8badsfx32(i)∨u8badsfx42(i)。