[發(fā)明專利]一種數(shù)據(jù)處理方法和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201710146595.5
• 申請(qǐng)日: 2017-03-13
• 公開（公告）號(hào): CN106934024A
• 公開（公告）日: 2017-07-07
• 發(fā)明（設(shè)計(jì)）人: 崔金夢(mèng);唐旋;王傳超
• 申請(qǐng)（專利權(quán)）人: 山東浪潮云服務(wù)信息科技有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 濟(jì)南信達(dá)專利事務(wù)所有限公司37100
• 代理人: 李世喆

1.一種數(shù)據(jù)處理方法，其特征在于，包括：

從外部的至少兩個(gè)數(shù)據(jù)源分別提取至少一條數(shù)據(jù)記錄；

對(duì)所述至少一條數(shù)據(jù)記錄進(jìn)行數(shù)據(jù)集成，生成數(shù)據(jù)集；

將所述數(shù)據(jù)集進(jìn)行數(shù)據(jù)轉(zhuǎn)換，形成具有統(tǒng)一數(shù)據(jù)格式的目標(biāo)數(shù)據(jù)集；

對(duì)所述目標(biāo)數(shù)據(jù)集進(jìn)行數(shù)據(jù)異常檢測(cè)，生成待處理數(shù)據(jù)集；

合并所述待處理數(shù)據(jù)集中重復(fù)的數(shù)據(jù)記錄，生成共享數(shù)據(jù)集；

將所述共享數(shù)據(jù)集裝載到預(yù)先創(chuàng)建的共享數(shù)據(jù)庫(kù)，以將所述共享數(shù)據(jù)集共享給外部的用戶。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，

所述合并所述待處理數(shù)據(jù)集中重復(fù)的數(shù)據(jù)記錄，生成共享數(shù)據(jù)集，包括：

確定至少一個(gè)排序關(guān)鍵字；

根據(jù)所述至少一個(gè)排序關(guān)鍵字，對(duì)所述待處理數(shù)據(jù)集中的數(shù)據(jù)記錄進(jìn)行排序；

根據(jù)所述待處理數(shù)據(jù)集中的所述數(shù)據(jù)記錄的順序，合并重復(fù)的所述數(shù)據(jù)記錄，生成所述共享數(shù)據(jù)集。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，進(jìn)一步包括：預(yù)先設(shè)置滑動(dòng)窗口；

所述根據(jù)所述待處理數(shù)據(jù)集中的所述數(shù)據(jù)記錄的順序，合并重復(fù)的所述數(shù)據(jù)記錄，生成所述共享數(shù)據(jù)集，包括：

S0：確定所述滑動(dòng)窗口在排序后的所述數(shù)據(jù)記錄中的初始位置，使得排序后的所述數(shù)據(jù)記錄中第一位的所述數(shù)據(jù)記錄位于所述滑動(dòng)窗口中；

S1：確定所述滑動(dòng)窗口中的當(dāng)前數(shù)據(jù)記錄；

S2：判斷所述當(dāng)前數(shù)據(jù)記錄中是否存在相同的所述數(shù)據(jù)記錄，如果是，將相同的所述數(shù)據(jù)記錄進(jìn)行合并，并執(zhí)行S3，否則，執(zhí)行S4；

S3：判斷排在最后一位的所述數(shù)據(jù)記錄是否在所述滑動(dòng)窗口中，如果是，根據(jù)合并后的所述數(shù)據(jù)記錄，生成所述共享數(shù)據(jù)集，否則，執(zhí)行S4；

S4：按照所述數(shù)據(jù)記錄的順序，將所述滑動(dòng)窗口向后滑動(dòng)一位，并執(zhí)行S1。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，進(jìn)一步包括：預(yù)先設(shè)置排序關(guān)鍵字與標(biāo)記值的映射關(guān)系；

所述根據(jù)所述至少一個(gè)排序關(guān)鍵字，對(duì)所述待處理數(shù)據(jù)集中的數(shù)據(jù)記錄進(jìn)行排序，包括：

針對(duì)每一個(gè)所述數(shù)據(jù)記錄，執(zhí)行：

確定所述待處理數(shù)據(jù)集中的當(dāng)前數(shù)據(jù)記錄包含的至少一個(gè)目標(biāo)排序關(guān)鍵字；

根據(jù)所述映射關(guān)系，確定每個(gè)所述目標(biāo)排序關(guān)鍵字對(duì)應(yīng)的目標(biāo)標(biāo)記值；

將所述至少一個(gè)目標(biāo)排序關(guān)鍵字對(duì)應(yīng)的所述目標(biāo)標(biāo)記值之和作為所述數(shù)據(jù)記錄的總標(biāo)記值；

根據(jù)所述待處理數(shù)據(jù)集中的每個(gè)所述數(shù)據(jù)記錄的總標(biāo)記值的大小，對(duì)所述待處理數(shù)據(jù)集中的所述數(shù)據(jù)記錄進(jìn)行排序。

5.根據(jù)權(quán)利要求1-4中任一所述的方法，其特征在于，

所述將所述共享數(shù)據(jù)集裝載到預(yù)先創(chuàng)建的共享數(shù)據(jù)庫(kù)，包括：

針對(duì)每一個(gè)所述數(shù)據(jù)記錄，執(zhí)行：

判斷所述共享數(shù)據(jù)集中的當(dāng)前數(shù)據(jù)記錄是否為預(yù)先創(chuàng)建的所述共享數(shù)據(jù)庫(kù)中已有的數(shù)據(jù)記錄，如果是，為所述共享數(shù)據(jù)集中的所述當(dāng)前數(shù)據(jù)記錄添加時(shí)間戳，將攜帶所述時(shí)間戳的所述共享數(shù)據(jù)集中的所述當(dāng)前數(shù)據(jù)記錄裝載到所述共享數(shù)據(jù)庫(kù)，否則，將所述共享數(shù)據(jù)集中的所述當(dāng)前數(shù)據(jù)記錄裝載到所述共享數(shù)據(jù)庫(kù)。

6.一種數(shù)據(jù)處理裝置，其特征在于，包括：

處理單元，用于從外部的至少兩個(gè)數(shù)據(jù)源分別提取至少一條數(shù)據(jù)記錄；對(duì)所述至少一條數(shù)據(jù)記錄進(jìn)行數(shù)據(jù)集成，生成數(shù)據(jù)集；將所述數(shù)據(jù)集進(jìn)行數(shù)據(jù)轉(zhuǎn)換，形成具有統(tǒng)一數(shù)據(jù)格式的目標(biāo)數(shù)據(jù)集；對(duì)所述目標(biāo)數(shù)據(jù)集進(jìn)行數(shù)據(jù)異常檢測(cè)，生成待處理數(shù)據(jù)集；

合并單元，用于合并所述處理單元生成的所述待處理數(shù)據(jù)集中重復(fù)的數(shù)據(jù)記錄，生成共享數(shù)據(jù)集；

裝載單元，用于將所述合并單元生成的所述共享數(shù)據(jù)集裝載到預(yù)先創(chuàng)建的共享數(shù)據(jù)庫(kù)，以將所述共享數(shù)據(jù)集共享給外部的用戶。

7.根據(jù)權(quán)利要求6所述的數(shù)據(jù)處理裝置，其特征在于，

所述合并單元，包括：

確定子單元，用于確定至少一個(gè)排序關(guān)鍵字；

排序子單元，用于根據(jù)所述確定子單元確定的所述至少一個(gè)排序關(guān)鍵字，對(duì)所述待處理數(shù)據(jù)集中的數(shù)據(jù)記錄進(jìn)行排序；

合并子單元，用于根據(jù)所述待處理數(shù)據(jù)集中的所述數(shù)據(jù)記錄的順序，合并重復(fù)的所述數(shù)據(jù)記錄，生成所述共享數(shù)據(jù)集。