[發明專利]訓練集的評估

有效

• 申請號: 201611273107.9
• 申請日: 2016-12-30
• 公開（公告）號: CN107016400B
• 公開（公告）日: 2023-01-24
• 發明（設計）人: X·格勒昂
• 申請（專利權）人: 達索系統公司
• 主分類號: G06F18/214
• 分類號: G06F18/214
• 代理公司: 永新專利商標代理有限公司 72002
• 代理人: 劉瑜;王英

1.一種用于評估由機器學習系統預測的結果的潛在偏差的計算機實現的方法，包括：

-在第一組觀測上訓練(S10)模型，每個觀測與目標值相關聯，所述第一組觀測形成所述模型的訓練數據；

-生成第二組觀測，所述第二組觀測是隨機生成的可能的值，并且所述第二組觀測形成所述模型的測試數據；

-將訓練的模型應用(S20)于所述第二組，從而獲得與所述第二組中的每個觀測相關聯的目標值；

-將所述第一組觀測和所述第二組觀測及其相關聯的目標值索引(S30)到索引中；

-接收(S40)第一查詢，所述第一查詢允許對所述第一組觀測和所述第二組觀測的子集的選擇；

-生成(S50)第二查詢，所述第二查詢包括所述第一查詢和僅僅返回所述第一組中的一個或多個觀測的附加約束；

-生成(S52)第三查詢，所述第三查詢包括所述第一查詢和僅僅返回所述第二組中的一個或多個觀測的附加約束；

-使用所述第二查詢和所述第三查詢來查詢所述索引；

-返回(S60)對所述第二查詢和所述第三查詢的響應；以及

-基于對所述第二查詢和所述第三查詢的響應而獲得對所述模型的預測中的相對置信度的測量。

2.根據權利要求1所述的計算機實現的方法，其中所述第一組觀測中的每個觀測與一個或多個變量相關聯，每個變量與值相關聯。

3.根據權利要求2所述的計算機實現的方法，進一步包括：在所述第一組觀測上訓練模型的步驟之前：

-在連續段上或在離散集上定義所述第一組的一個或多個變量。

4.根據權利要求3所述的計算機實現的方法，其中所述第二組觀測的隨機生成包括：

-在所述第一組的每個變量上關聯概率分布。

5.根據權利要求4所述的計算機實現的方法，其中所述概率分布是根據所述第一組的所述每個變量來確定的。

6.根據權利要求4或5中的一項所述的計算機實現的方法，其中所述概率分布是均勻概率分布。

7.根據權利要求3至5中的一項所述的計算機實現的方法，進一步包括：

-通過使用至少一個隨機變量生成器，跨所述連續段或在離散集上生成值；

-計算從所述至少一個隨機變量生成器獲得的所述值的組合。

8.根據權利要求7所述的計算機實現的方法，進一步包括：

-確定變量之間的依賴性；

-在所計算的組合之中移除不滿足所確定的依賴性的組合。

9.根據權利要求7所述的計算機實現的方法，其中計算隨機變量的組合包括計算所述隨機變量的所有組合。

10.根據權利要求1至5中的一項所述的計算機實現的方法，其中所述第一組觀測被存儲在第一矩陣上，并且所述第二組觀測被存儲在第二矩陣上。

11.根據權利要求1至 5中的一項所述的計算機實現的方法，其中所述第二組觀測被標記為被隨機生成的。

12.根據權利要求11所述的計算機實現的方法，其中，在索引的步驟中，所索引的第二組觀測與指示所述第二組觀測已被隨機生成的元數據相關聯。

13.根據權利要求1至5中的一項所述的計算機實現的方法，進一步包括，在返回的步驟之前：

-比較所述第二查詢和所述第三查詢的結果。

14.一種其上存儲有指令的機器可讀存儲介質，所述指令在由計算設備執行時，使得所述計算設備執行根據權利要求1至13中任一項所述的方法。

15.一種用于評估由機器學習系統預測的結果的潛在偏差的裝置，包括處理器；

耦合到存儲器的處理器，所述存儲器上存儲有指令，所述指令在由所述處理器執行時，使得所述處理器執行根據權利要求1至13中任一項所述的方法。