[發(fā)明專利]一種數(shù)據(jù)處理方法和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201310597967.8
• 申請(qǐng)日: 2013-11-22
• 公開（公告）號(hào): CN104657388A
• 公開（公告）日: 2015-05-27
• 發(fā)明（設(shè)計(jì)）人: 呂春建
• 申請(qǐng)（專利權(quán)）人: 阿里巴巴集團(tuán)控股有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 北京國昊天誠知識(shí)產(chǎn)權(quán)代理有限公司 11315
• 代理人: 許志勇

1.一種數(shù)據(jù)處理方法，其特征在于，包括：

掃描存儲(chǔ)于數(shù)據(jù)庫表中的一個(gè)或多個(gè)數(shù)據(jù)；

基于所述掃描，對(duì)所述一個(gè)或多個(gè)數(shù)據(jù)中的重復(fù)數(shù)據(jù)進(jìn)行計(jì)數(shù)，確定每個(gè)所述重復(fù)數(shù)據(jù)的計(jì)數(shù)值；

根據(jù)所述每個(gè)重復(fù)數(shù)據(jù)和所述每個(gè)重復(fù)數(shù)據(jù)的計(jì)數(shù)值，計(jì)算與分析數(shù)據(jù)分布相關(guān)的結(jié)果。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于：

所述數(shù)據(jù)庫表記錄一個(gè)或多個(gè)記錄項(xiàng)，一個(gè)記錄項(xiàng)表示一條記錄，數(shù)據(jù)庫表中的每行記錄，記錄每個(gè)記錄項(xiàng)；

每個(gè)所述記錄項(xiàng)包括一個(gè)或多個(gè)數(shù)據(jù)項(xiàng)，數(shù)據(jù)庫表中的每列記錄，記錄每個(gè)不同的數(shù)據(jù)項(xiàng)；

每個(gè)數(shù)據(jù)項(xiàng)存儲(chǔ)每個(gè)記錄項(xiàng)中對(duì)應(yīng)該數(shù)據(jù)項(xiàng)的數(shù)據(jù)；其中，所述數(shù)據(jù)為數(shù)值；

基于所述掃描，對(duì)所述一個(gè)或多個(gè)數(shù)據(jù)中的重復(fù)數(shù)據(jù)進(jìn)行計(jì)數(shù)，包括：對(duì)所述數(shù)據(jù)庫表的一個(gè)或多個(gè)數(shù)據(jù)項(xiàng)中的一個(gè)數(shù)據(jù)項(xiàng)所存儲(chǔ)的相同的數(shù)據(jù)進(jìn)行計(jì)數(shù)。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述與分析數(shù)據(jù)分布相關(guān)的結(jié)果，至少包括：所述數(shù)據(jù)庫表的一個(gè)或多個(gè)數(shù)據(jù)項(xiàng)中的一個(gè)數(shù)據(jù)項(xiàng)對(duì)應(yīng)存儲(chǔ)的一個(gè)或多個(gè)數(shù)據(jù)的均值、最大值、最小值、分位數(shù)、眾數(shù)。

4.根據(jù)權(quán)利要求1-3任一所述的方法，其特征在于，根據(jù)所述每個(gè)重復(fù)數(shù)據(jù)和所述每個(gè)重復(fù)數(shù)據(jù)的計(jì)數(shù)值，計(jì)算與分析數(shù)據(jù)分布相關(guān)的結(jié)果，包括：

在掃描所述每個(gè)重復(fù)數(shù)據(jù)和所述每個(gè)重復(fù)數(shù)據(jù)的計(jì)數(shù)值時(shí)，計(jì)算所述一個(gè)或多個(gè)數(shù)據(jù)的總數(shù)和所述一個(gè)或多個(gè)重復(fù)數(shù)據(jù)的計(jì)數(shù)值的總計(jì)數(shù)值，以得到所述一個(gè)或多個(gè)數(shù)據(jù)的均值；并且，

比較所述每個(gè)重復(fù)數(shù)據(jù)的大小，以獲得所述一個(gè)或多個(gè)數(shù)據(jù)中的最大值、最小值；并且，

比較所述每個(gè)重復(fù)數(shù)據(jù)的計(jì)數(shù)值的大小，以獲得所述一個(gè)或多個(gè)數(shù)據(jù)中的和眾數(shù)。

5.根據(jù)權(quán)利要求1-3任一所述的方法，其特征在于，根據(jù)所述每個(gè)重復(fù)數(shù)據(jù)和所述每個(gè)重復(fù)數(shù)據(jù)的計(jì)數(shù)值，計(jì)算與分析數(shù)據(jù)分布相關(guān)的結(jié)果，包括：

在掃描所述每個(gè)重復(fù)數(shù)據(jù)和所述每個(gè)重復(fù)數(shù)據(jù)的計(jì)數(shù)值時(shí)，按照所述每個(gè)重復(fù)數(shù)據(jù)的大小，對(duì)所述一個(gè)或多個(gè)重復(fù)數(shù)據(jù)以及所述一個(gè)或多個(gè)重復(fù)數(shù)據(jù)的計(jì)數(shù)值進(jìn)行排序；

基于所述排序形成的順序，根據(jù)所述每個(gè)重復(fù)數(shù)據(jù)的計(jì)數(shù)值和排列在所述每個(gè)重復(fù)數(shù)據(jù)前面的所有重復(fù)數(shù)據(jù)的計(jì)數(shù)值，獲得所述每個(gè)重復(fù)數(shù)據(jù)的累計(jì)值；其中，

所述累計(jì)值是所述每個(gè)重復(fù)數(shù)據(jù)的計(jì)數(shù)值與排列在所述每個(gè)重復(fù)數(shù)據(jù)前面的所有重復(fù)數(shù)據(jù)的計(jì)數(shù)值的和；

根據(jù)所述每個(gè)重復(fù)數(shù)據(jù)的累計(jì)值和計(jì)數(shù)值，獲得所述每個(gè)重復(fù)數(shù)據(jù)所處的分位數(shù)區(qū)間。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，還包括：

根據(jù)任意分位數(shù)所處的分位數(shù)區(qū)間，確定所述任意分位數(shù)對(duì)應(yīng)的重復(fù)數(shù)據(jù)，其中任意分位數(shù)可以是0～1之間的任意值。

7.一種數(shù)據(jù)處理裝置，其特征在于，包括：

描述模塊，用于掃描存儲(chǔ)于數(shù)據(jù)庫表中的一個(gè)或多個(gè)數(shù)據(jù)；

計(jì)數(shù)模塊，用于基于所述掃描，對(duì)所述一個(gè)或多個(gè)數(shù)據(jù)中的重復(fù)數(shù)據(jù)進(jìn)行計(jì)數(shù)，確定每個(gè)所述重復(fù)數(shù)據(jù)的計(jì)數(shù)值；

計(jì)算模塊，用于根據(jù)所述每個(gè)重復(fù)數(shù)據(jù)和所述每個(gè)重復(fù)數(shù)據(jù)的計(jì)數(shù)值，計(jì)算與分析數(shù)據(jù)分布相關(guān)的結(jié)果。

8.根據(jù)權(quán)利要求7所述的裝置，其特征在于：

所述數(shù)據(jù)庫表記錄一個(gè)或多個(gè)記錄項(xiàng)，一個(gè)記錄項(xiàng)表示一條記錄，數(shù)據(jù)庫表中的每行記錄，記錄每個(gè)記錄項(xiàng)；

每個(gè)所述記錄項(xiàng)包括一個(gè)或多個(gè)數(shù)據(jù)項(xiàng)，數(shù)據(jù)庫表中的每列記錄，記錄每個(gè)不同的數(shù)據(jù)項(xiàng)；

每個(gè)數(shù)據(jù)項(xiàng)存儲(chǔ)每個(gè)記錄項(xiàng)中對(duì)應(yīng)該數(shù)據(jù)項(xiàng)的數(shù)據(jù)；其中，所述數(shù)據(jù)為數(shù)值；

進(jìn)一步地，所述計(jì)數(shù)模塊還被配置成：對(duì)所述數(shù)據(jù)庫表的一個(gè)或多個(gè)數(shù)據(jù)項(xiàng)中的一個(gè)數(shù)據(jù)項(xiàng)所存儲(chǔ)的相同的數(shù)據(jù)進(jìn)行計(jì)數(shù)。

9.根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述與分析數(shù)據(jù)分布相關(guān)的結(jié)果，至少包括：所述數(shù)據(jù)庫表的一個(gè)或多個(gè)數(shù)據(jù)項(xiàng)中的一個(gè)數(shù)據(jù)項(xiàng)對(duì)應(yīng)存儲(chǔ)的一個(gè)或多個(gè)數(shù)據(jù)的均值、最大值、最小值、分位數(shù)、眾數(shù)。

10.根據(jù)權(quán)利要求7-9任一所述的裝置，其特征在于，所述計(jì)算模塊被配置成：

在掃描所述每個(gè)重復(fù)數(shù)據(jù)和所述每個(gè)重復(fù)數(shù)據(jù)的計(jì)數(shù)值時(shí)，計(jì)算所述一個(gè)或多個(gè)數(shù)據(jù)的總數(shù)和所述一個(gè)或多個(gè)重復(fù)數(shù)據(jù)的計(jì)數(shù)值的總計(jì)數(shù)值，以得到所述一個(gè)或多個(gè)數(shù)據(jù)的均值；并且，比較所述每個(gè)重復(fù)數(shù)據(jù)的大小，以獲得所述一個(gè)或多個(gè)數(shù)據(jù)中的最大值、最小值；并且，比較所述每個(gè)重復(fù)數(shù)據(jù)的計(jì)數(shù)值的大小，以獲得所述一個(gè)或多個(gè)數(shù)據(jù)中的和眾數(shù)。