[發(fā)明專利]一種驗(yàn)證MapReduce環(huán)境下處理數(shù)據(jù)正確性的方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201410090641.0
• 申請(qǐng)日: 2014-03-12
• 公開（公告）號(hào): CN104915352B
• 公開（公告）日: 2018-10-02
• 發(fā)明（設(shè)計(jì)）人: 王立
• 申請(qǐng)（專利權(quán)）人: 阿里巴巴集團(tuán)控股有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 北京三友知識(shí)產(chǎn)權(quán)代理有限公司 11127
• 代理人: 黨曉林

1.一種驗(yàn)證MapReduce環(huán)境下處理數(shù)據(jù)正確性的方法，其特征在于，包括：

為MapReduce源代碼加入劫持代碼，生成帶有劫持代碼的數(shù)據(jù)處理程序；

運(yùn)行所述帶有劫持代碼的數(shù)據(jù)處理程序?qū)斎霐?shù)據(jù)進(jìn)行數(shù)據(jù)處理，所述帶有劫持代碼的數(shù)據(jù)處理程序劫持得到輸入數(shù)據(jù)、輸出數(shù)據(jù)，所述數(shù)據(jù)處理程序記錄數(shù)據(jù)處理過程中代碼是否被執(zhí)行的覆蓋信息；設(shè)定覆蓋信息和對(duì)應(yīng)的輸入數(shù)據(jù)、輸出數(shù)據(jù)為三元組數(shù)據(jù)；所述帶有劫持代碼的數(shù)據(jù)處理程序處理的輸入數(shù)據(jù)為真實(shí)數(shù)據(jù)；

去除覆蓋信息相同的三元組數(shù)據(jù)，形成監(jiān)控三元組集合；

在驗(yàn)證處理數(shù)據(jù)正確性時(shí)，將所述監(jiān)控三元組集合中的輸入數(shù)據(jù)返回至帶有劫持代碼的數(shù)據(jù)處理程序重新進(jìn)行數(shù)據(jù)處理，所述帶有劫持代碼的數(shù)據(jù)處理程序劫持得到輸出數(shù)據(jù)，形成輸出數(shù)據(jù)集合；

通過監(jiān)控三元組集合中的輸出數(shù)據(jù)驗(yàn)證所述輸出數(shù)據(jù)集合中的數(shù)據(jù)是否正確。

2.如權(quán)利要求1所述的一種驗(yàn)證MapReduce環(huán)境下處理數(shù)據(jù)正確性的方法，其特征在于，所述劫持代碼包括：輸入劫持代碼和輸出劫持代碼。

3.如權(quán)利要求1所述的一種驗(yàn)證MapReduce環(huán)境下處理數(shù)據(jù)正確性的方法，其特征在于，所述去除覆蓋信息相同的三元組數(shù)據(jù)，形成監(jiān)控三元組集合，具體包括：設(shè)置三元組集合，所述三元組集合的初始狀態(tài)為空集；將新生成的三元組數(shù)據(jù)的覆蓋信息與三元組集合中的三元組數(shù)據(jù)的覆蓋信息進(jìn)行比對(duì)，將覆蓋信息不完全相同的三元組數(shù)據(jù)存放至所述三元組集合中，將輸入數(shù)據(jù)處理完畢后所述的三元組數(shù)據(jù)集合作為監(jiān)控三元組集合。

4.如權(quán)利要求1所述的一種驗(yàn)證MapReduce環(huán)境下處理數(shù)據(jù)正確性的方法，其特征在于，通過監(jiān)控三元組集合中的輸出數(shù)據(jù)驗(yàn)證所述輸出數(shù)據(jù)集合中的數(shù)據(jù)是否正確，具體包括：

將輸出數(shù)據(jù)集合中的每一條輸出數(shù)據(jù)與監(jiān)控三元組集合中對(duì)應(yīng)的輸出數(shù)據(jù)進(jìn)行比對(duì)，且：

對(duì)于同一輸入數(shù)據(jù)的兩個(gè)集合中對(duì)應(yīng)的輸出數(shù)據(jù)相同的，驗(yàn)證輸出數(shù)據(jù)集合中該條數(shù)據(jù)為正確；

對(duì)于同一輸入數(shù)據(jù)的兩個(gè)集合中對(duì)應(yīng)的輸出數(shù)據(jù)不相同的，驗(yàn)證輸出數(shù)據(jù)集合中該條數(shù)據(jù)為錯(cuò)誤。

5.如權(quán)利要求1所述的一種驗(yàn)證MapReduce環(huán)境下處理數(shù)據(jù)正確性的方法，其特征在于，所述設(shè)定覆蓋信息和對(duì)應(yīng)的輸入數(shù)據(jù)、輸出數(shù)據(jù)為三元組數(shù)據(jù)，包括：將標(biāo)識(shí)相同的輸入數(shù)據(jù)與輸出數(shù)據(jù)及對(duì)應(yīng)的覆蓋信息為三元組數(shù)據(jù)。

6.如權(quán)利要求1所述的一種驗(yàn)證MapReduce環(huán)境下處理數(shù)據(jù)正確性的方法，其特征在于，所述覆蓋信息，包括：語句執(zhí)行覆蓋信息和跳轉(zhuǎn)執(zhí)行覆蓋信息。

7.一種驗(yàn)證MapReduce環(huán)境下處理數(shù)據(jù)正確性的裝置，其特征在于，包括：處理程序準(zhǔn)備單元、三元組生成單元、監(jiān)控三元組集合單元、輸出數(shù)據(jù)集合單元、驗(yàn)證單元；其中，

所述處理程序準(zhǔn)備單元，用于為MapReduce源代碼加入劫持代碼，并生成帶有劫持代碼的數(shù)據(jù)處理程序；

所述三元組生成單元，用于運(yùn)行所述處理程序準(zhǔn)備單元中的數(shù)據(jù)處理程序?qū)斎霐?shù)據(jù)進(jìn)行數(shù)據(jù)處理，并記錄輸入數(shù)據(jù)、輸出數(shù)據(jù)和覆蓋信息，將覆蓋信息和對(duì)應(yīng)的輸入數(shù)據(jù)、輸出數(shù)據(jù)設(shè)定為三元組數(shù)據(jù)；所述帶有劫持代碼的數(shù)據(jù)處理程序處理的輸入數(shù)據(jù)為真實(shí)數(shù)據(jù)；

所述監(jiān)控三元組集合單元，用于讀取所述三元組生成單元生成的三元組數(shù)據(jù)，去除覆蓋信息相同的三元組數(shù)據(jù)，形成監(jiān)控三元組集合；

所述輸出數(shù)據(jù)集合單元，用于在驗(yàn)證處理數(shù)據(jù)正確性時(shí)，將所述監(jiān)控三元組集合中的輸入數(shù)據(jù)返回至三元組生成單元進(jìn)行數(shù)據(jù)處理，并將此時(shí)的輸出數(shù)據(jù)存放至輸出數(shù)據(jù)集合中；

所述驗(yàn)證單元，用于根據(jù)監(jiān)控三元組集合中的輸出數(shù)據(jù)，驗(yàn)證輸出數(shù)據(jù)集合中的輸出數(shù)據(jù)是否正確。