[發(fā)明專利]用于機(jī)器學(xué)習(xí)性能測試和改進(jìn)的數(shù)據(jù)分片

在審

• 申請?zhí)枺?/td>: 202010434033.2
• 申請日: 2020-05-21
• 公開（公告）號: CN112070231A
• 公開（公告）日: 2020-12-11
• 發(fā)明（設(shè)計）人: R·博瑞爾;E·法爾徹;O·拉茲;A·茲羅尼克
• 申請（專利權(quán)）人: 國際商業(yè)機(jī)器公司
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06Q40/02
• 代理公司: 中國貿(mào)促會專利商標(biāo)事務(wù)所有限公司 11038
• 代理人: 鄭宗玉

用于機(jī)器學(xué)習(xí)性能測試和改進(jìn)的數(shù)據(jù)分片。用于識別和改進(jìn)表現(xiàn)不佳的機(jī)器學(xué)習(xí)ML的方法和計算機(jī)程序產(chǎn)品。該方法包括基于表示利用ML模型的系統(tǒng)的要求的功能模型對ML模型的數(shù)據(jù)進(jìn)行分片。功能模型包括屬性集合和相應(yīng)的值域。每個數(shù)據(jù)分片與功能模型的一個或多個屬性的不同估值相關(guān)聯(lián)。基于屬性的估值，將ML模型的每個數(shù)據(jù)實(shí)例映射到一個或多個數(shù)據(jù)分片。對于每個數(shù)據(jù)分片，基于ML模型在映射到數(shù)據(jù)分片的每個數(shù)據(jù)實(shí)例上的應(yīng)用來計算ML模型的性能測度。可基于數(shù)據(jù)分片的性能測度來執(zhí)行ML模型是否符合目標(biāo)性能要求的確定。

技術(shù)領(lǐng)域

本公開總體上涉及機(jī)器學(xué)習(xí)測試，并且尤其涉及表現(xiàn)不佳的機(jī)器學(xué)習(xí)的識別和改進(jìn)。

背景技術(shù)

基于機(jī)器學(xué)習(xí)的解決方案變得越來越流行和普及。許多計算機(jī)系統(tǒng)利用機(jī)器學(xué)習(xí)模型來有效地執(zhí)行特定任務(wù)，而無需使用顯式指令，而是依靠模式和推理。機(jī)器學(xué)習(xí)算法被廣泛用于各種應(yīng)用中，例如電子郵件過濾和計算機(jī)視覺，在這些應(yīng)用中，開發(fā)用于執(zhí)行任務(wù)的特定指令的算法是不可行的。

可以利用不同的性能和準(zhǔn)確度度量(metric)來評估機(jī)器學(xué)習(xí)模型的性能，例如F1分?jǐn)?shù)、準(zhǔn)確度等。準(zhǔn)確度可以是作為被正確分類的總項(xiàng)目的百分比的測度(measure)。F1分?jǐn)?shù)是精確度(例如，在被識別為正數(shù)的總項(xiàng)目當(dāng)中被正確識別為正數(shù)的項(xiàng)目數(shù))和召回率(例如，在總真正數(shù)(true positives)當(dāng)中被正確識別為正數(shù)的項(xiàng)目數(shù))的調(diào)和平均值。

發(fā)明內(nèi)容

所公開的主題的一個示例性實(shí)施例是一種方法，包括：利用機(jī)器學(xué)習(xí)預(yù)測模型獲得表示系統(tǒng)的系統(tǒng)要求的功能模型。所述機(jī)器學(xué)習(xí)預(yù)測模型可被配置為基于特征向量的估值來提供所估計的預(yù)測。所述功能模型可包括屬性集合，每個屬性具有相應(yīng)的值域。所述屬性集合可包括至少一個基于元數(shù)據(jù)的屬性，所述至少一個基于元數(shù)據(jù)的屬性沒有包括在所述特征向量中。所述方法還包括基于所述功能模型確定數(shù)據(jù)分片集合。所述數(shù)據(jù)分片集合中的每個數(shù)據(jù)分片可與所述功能模型的一個或多個屬性的不同估值相關(guān)聯(lián)。所述方法還包括獲得測試數(shù)據(jù)實(shí)例。每個測試數(shù)據(jù)實(shí)例可包括原始數(shù)據(jù)和標(biāo)簽。所述原始數(shù)據(jù)包括元數(shù)據(jù)。所述方法還包括對于每個測試數(shù)據(jù)實(shí)例，基于所述原始數(shù)據(jù)確定所述功能模型的每個屬性的值。所述確定值可包括利用所述測試數(shù)據(jù)實(shí)例的元數(shù)據(jù)，從而將所述測試數(shù)據(jù)實(shí)例映射到一個或多個數(shù)據(jù)分片。所述方法還包括對于每個數(shù)據(jù)分片，計算所述機(jī)器學(xué)習(xí)預(yù)測模型在所述數(shù)據(jù)分片上的性能測度。所述計算可基于所述機(jī)器學(xué)習(xí)預(yù)測模型在映射到所述數(shù)據(jù)分片的每個測試數(shù)據(jù)實(shí)例上的應(yīng)用，從而對于每個數(shù)據(jù)分片計算不同的性能測度。所述方法還包括基于所述數(shù)據(jù)分片的性能測度確定所述機(jī)器學(xué)習(xí)預(yù)測模型是否符合目標(biāo)性能要求。

所公開的主題的另一個示例性實(shí)施例是一種方法，包括：獲得表示系統(tǒng)的系統(tǒng)要求的功能模型。所述系統(tǒng)可能夠利用多個機(jī)器學(xué)習(xí)預(yù)測模型，每個機(jī)器學(xué)習(xí)預(yù)測模型被配置為基于特征向量的估值來提供所估計的預(yù)測。所述功能模型可包括屬性集合，每個屬性具有相應(yīng)的值域。所述屬性集合可包括至少一個基于元數(shù)據(jù)的屬性，所述至少一個基于元數(shù)據(jù)的屬性沒有包括在所述特征向量中。所述方法還包括基于所述功能模型確定數(shù)據(jù)分片集合。所述數(shù)據(jù)分片集合中的每個數(shù)據(jù)分片可與所述功能模型的一個或多個屬性的不同估值相關(guān)聯(lián)。所述方法還包括獲得測試數(shù)據(jù)實(shí)例。每個測試數(shù)據(jù)實(shí)例可包括原始數(shù)據(jù)和標(biāo)簽，其中所述原始數(shù)據(jù)包括元數(shù)據(jù)。所述方法還包括對于每個測試數(shù)據(jù)實(shí)例，基于所述原始數(shù)據(jù)確定所述功能模型的每個屬性的值。所述確定值包括利用所述測試數(shù)據(jù)實(shí)例的元數(shù)據(jù)，從而將所述測試數(shù)據(jù)實(shí)例映射到一個或多個數(shù)據(jù)分片。所述方法還包括對于每個數(shù)據(jù)分片，計算所述多個機(jī)器學(xué)習(xí)預(yù)測模型中的每個機(jī)器學(xué)習(xí)預(yù)測模型在所述數(shù)據(jù)分片上的性能測度。所述計算可基于每個機(jī)器學(xué)習(xí)預(yù)測模型在映射到所述數(shù)據(jù)分片的每個測試數(shù)據(jù)實(shí)例上的應(yīng)用來執(zhí)行，從而對于每個數(shù)據(jù)分片計算不同性能測度集合，每個性能測度測量不同機(jī)器學(xué)習(xí)預(yù)測模型在所述數(shù)據(jù)分片上的性能。所述方法還包括對于每個數(shù)據(jù)分片，基于所述每個數(shù)據(jù)分片的所述不同性能測度集合從所述多個機(jī)器學(xué)習(xí)中確定所選擇的機(jī)器學(xué)習(xí)預(yù)測模型。響應(yīng)于獲得標(biāo)簽要由所述系統(tǒng)所估計的數(shù)據(jù)實(shí)例，所述方法包括確定所述數(shù)據(jù)實(shí)例所映射到的數(shù)據(jù)分片；以及利用對于所述數(shù)據(jù)分片確定的所選擇的機(jī)器學(xué)習(xí)預(yù)測模型來提供用于所述數(shù)據(jù)實(shí)例的所估計的標(biāo)簽。