[發(fā)明專利]一種大數(shù)據(jù)修復(fù)模型的構(gòu)建方法和模型構(gòu)建裝置

在審

• 申請?zhí)枺?/td>: 202010500860.7
• 申請日: 2020-06-04
• 公開（公告）號: CN111738442A
• 公開（公告）日: 2020-10-02
• 發(fā)明（設(shè)計）人: 王宏志;秦謙;姜濤
• 申請（專利權(quán)）人: 江蘇名通信息科技有限公司
• 主分類號: G06N3/12
• 分類號: G06N3/12;G06N20/00;G06K9/62;G06F16/215
• 代理公司: 南京縱橫知識產(chǎn)權(quán)代理有限公司 32224
• 代理人: 朱遠楓

1.一種大數(shù)據(jù)修復(fù)模型的構(gòu)建方法，其特征在于，所述大數(shù)據(jù)修復(fù)模型用于對給出待修復(fù)數(shù)據(jù)的修復(fù)值，所述大數(shù)據(jù)修復(fù)模型的構(gòu)建方法包括以下步驟：

從備選修復(fù)方案中選擇候選修復(fù)方案；利用預(yù)先構(gòu)建多個機器學(xué)習(xí)模型根據(jù)候選修復(fù)方案給出的修復(fù)值進行初步訓(xùn)練；

利用初步訓(xùn)練完成的各機器學(xué)習(xí)模型給出預(yù)測修復(fù)值，并根據(jù)各機器學(xué)習(xí)模型的預(yù)測修復(fù)值確定各機器學(xué)習(xí)模型的不確定得分，對不確定得分進行排序；獲取用戶反饋參考值，并將用戶反饋參考值構(gòu)成新的訓(xùn)練集對不確定得分最高的設(shè)定個數(shù)的機器學(xué)習(xí)模型進行再訓(xùn)練直至滿足精度要求；訓(xùn)練完成的機器學(xué)習(xí)模型就為最終的大數(shù)據(jù)修復(fù)模型。

2.根據(jù)權(quán)利要求1所述的一種大數(shù)據(jù)修復(fù)模型的構(gòu)建方法，其特征在于，從備選修復(fù)方案中選擇候選修復(fù)方案的方法為采用遺傳模型，所述遺傳模型的代價函數(shù)如下：

Cost(C)＝∑_t∈Cu(t)

其中u(t，A)表示給定一個修復(fù)u，它用來將元組t的A屬性值從v修復(fù)到v′的評估，R_i表示第i個屬性集，C表示元組集合，u(t，A)的表達式如下：

(v，v′)表示v和v′的距離。

3.根據(jù)權(quán)利要求1所述的一種大數(shù)據(jù)修復(fù)模型的構(gòu)建方法，其特征在于，所述機器學(xué)習(xí)模型采用貝葉斯分類器。

4.根據(jù)權(quán)利要求1所述的一種大數(shù)據(jù)修復(fù)模型的構(gòu)建方法，其特征在于，用戶反饋參考值采用眾包方式獲得。

5.根據(jù)權(quán)利要求1所述的一種大數(shù)據(jù)修復(fù)模型的構(gòu)建方法，其特征在于，所述候選修復(fù)方案給出修復(fù)值要滿足三個約束條件，第一個約束條件為：兩個元組滿足若干特定屬性的值相同，由該若干特定屬性決定的其它特定屬性的值需要相同的，則其它特定屬性的修復(fù)值必須要跟另一元組該屬性的值相同；

第二個約束條件為：對兩個表中的元組必須有特定屬性值相同，則修復(fù)值必須要滿足該約束；

第三個約束條件為：若兩個元組在特定屬性上的相似度大于該屬性閾值，則與該屬性關(guān)聯(lián)的其它特定屬性的相似度大于該屬性閾值或者特定屬性值相等。

6.根據(jù)權(quán)利要求1所述的一種大數(shù)據(jù)修復(fù)模型的構(gòu)建方法，其特征在于，機器學(xué)習(xí)模型的不確定得分的計算方法如下：

Uscore(I)＝∑p_rlog(p_r)，

其中p_r為機器學(xué)習(xí)模型給出預(yù)測修復(fù)值r的頻率，

7.一種大數(shù)據(jù)修復(fù)模型的構(gòu)建裝置，其特征在于，包括：所述大數(shù)據(jù)修復(fù)模型用于給出待修復(fù)數(shù)據(jù)的修復(fù)值，所述大數(shù)據(jù)修復(fù)模型的構(gòu)建裝置包括候選修復(fù)方案選擇模塊和機器學(xué)習(xí)訓(xùn)練模塊：

所述候選修復(fù)方案選擇模塊，用于從備選修復(fù)方案中選擇候選修復(fù)方案；

所述機器學(xué)習(xí)訓(xùn)練模塊，用于利用預(yù)先構(gòu)建多個機器學(xué)習(xí)模型根據(jù)候選修復(fù)方案選擇模塊確定的候選修復(fù)方案給出的修復(fù)值進行初步訓(xùn)練；利用初步訓(xùn)練完成的各機器學(xué)習(xí)模型給出預(yù)測修復(fù)值，并根據(jù)各機器學(xué)習(xí)模型的預(yù)測修復(fù)值確定各機器學(xué)習(xí)模型的不確定得分，對不確定得分進行排序；獲取用戶反饋參考值，并將用戶反饋參考值構(gòu)成新的訓(xùn)練集對不確定得分最高的設(shè)定個數(shù)的機器學(xué)習(xí)模型進行再訓(xùn)練直至滿足精度要求；訓(xùn)練完成的機器學(xué)習(xí)模型就為最終的大數(shù)據(jù)修復(fù)模型。

8.根據(jù)權(quán)利要求7所述的一種大數(shù)據(jù)修復(fù)模型的構(gòu)建裝置，其特征在于，所述裝置還包括與眾包平臺對接的接口，用于所述機器學(xué)習(xí)訓(xùn)練模塊從平臺通過眾包方式獲取用戶反饋參考值。

9.一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)存儲有計算機程序，其特征在于，所述計算機程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1～6任意一項權(quán)利要求所述方法的步驟。

10.一種計算機程序，其特征在于，包括用于執(zhí)行權(quán)利要求1～6中任何一個權(quán)利要求所述的方法的計算機程序代碼，所述計算機程序基于Map-Reduce程序設(shè)計模型。