[發明專利]數據處理方法、數據處理裝置及計算機可讀存儲介質

有效

• 申請號: 201210367944.3
• 申請日: 2004-09-15
• 公開（公告）號: CN102982065A
• 公開（公告）日: 2013-03-20
• 發明（設計）人: 喬爾·古爾德;卡爾·范曼;保羅·貝
• 申請（專利權）人: 起元科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 隆天國際知識產權代理有限公司 72003
• 代理人: 張艷杰;張浴月

1.一種數據處理方法，包括如下步驟：

接收記錄流，每個記錄包括一個或多個字段和對應值；

在多個處理器之間分割所述記錄流；

為每個記錄生成在各記錄中具有值的每個字段的字段值對，所述字段值對表示各記錄中的字段和用于所述字段的對應值；

為每個處理器生成每個相異字段值對的調查元素，所述調查元素包括表示相異字段和相異值的字段值對的計數；

基于用于各字段的所述調查元素計算所述記錄流中每個字段的統計數字；以及

基于對應的統計數字為所述記錄流中的每個字段生成歸檔。

2.如權利要求1所述的方法，其中，生成在每個記錄中具有值的每個字段的所述字段值對的步驟包括如下步驟：

確定記錄中的特定字段是否為條件字段；以及

響應于確定所述特定字段為條件字段，確定所述特定字段是否具有值。

3.如權利要求1所述的方法，其中，所述記錄流的至少一個記錄包括可變數目的字段。

4.如權利要求1所述的方法，還包括如下步驟：基于所述統計數字確定格式規范。

5.如權利要求1所述的方法，還包括如下步驟：計算至少一個字段的直方圖或十分位數統計數字。

6.如權利要求1所述的方法，還包括如下步驟：基于所述記錄的順序特性計算用于所述記錄流的序列統計數字。

7.一種數據處理裝置，包括：

接收模塊，用于接收記錄流，每個記錄包括一個或多個字段和對應值；

分割模塊，用于在多個處理器之間分割所述記錄流；

字段值對生成模塊，用于為每個記錄生成在各記錄中具有值的每個字段的字段值對，所述字段值對表示各記錄中的字段和用于所述字段的對應值；

調查元素生成模塊，用于為每個處理器生成每個相異字段值對的調查元素，所述調查元素包括表示所述相異字段和所述相異值的字段值對的計數；計算模塊，用于基于用于各字段的所述調查元素計算所述記錄流中每個字段的統計數字；以及歸檔生成模塊，用于基于對應的統計數字為所述記錄流中的每個字段生成歸檔。

8.如權利要求7所述的裝置，其中，字段值對生成模塊包括：

用于確定記錄中的特定字段是否為條件字段的模塊；以及

用于響應于確定所述特定字段為條件字段，確定所述特定字段是否具有值的模塊。

9.如權利要求7所述的裝置，其中，所述記錄流的至少一個記錄包括可變數目的字段。

10.如權利要求7所述的裝置，其中，所述數據處理裝置還包括：用于基于所述統計數字確定格式規范的模塊。

11.如權利要求7所述的裝置，其中，所述數據處理裝置還包括：用于計算至少一個字段的直方圖或十分位數統計數字的模塊。

12.如權利要求7所述的裝置，其中，所述數據處理裝置還包括：用于基于所述記錄的順序特性計算用于所述記錄流的序列統計數字的模塊。

13.一種存儲用于數據處理的計算機程序的計算機可讀存儲介質，所述計算機程序包括用于使計算機系統執行以下操作的指令：

接收記錄流，每個記錄包括一個或多個字段和對應值；

在多個處理器之間分割所述記錄流；

為每個記錄生成在各記錄中具有值的每個字段的字段值對，所述字段值對表示各記錄中的字段和用于所述字段的對應值；

為每個處理器生成每個相異字段值對的調查元素，所述調查元素包括表示所述相異字段和所述相異值的字段值對的計數；

基于用于各字段的所述調查元素計算所述記錄流中每個字段的統計數字；以及

基于對應的統計數字為所述記錄流中的每個字段生成歸檔。

14.如權利要求13所述的計算機可讀存儲介質，其中，生成在每個記錄中具有值的每個字段的所述字段值對的步驟還包括如下步驟：

確定記錄中的特定字段是否為條件字段；以及

響應于確定所述特定字段為條件字段，確定所述特定字段是否具有值。

15.如權利要求13所述的計算機可讀存儲介質，其中，所述記錄流的至少一個記錄包括可變數目的字段。