[發明專利]用于識別對預測器具有不利影響的數據漂移的方法和裝置

在審

• 申請號: 202010322807.2
• 申請日: 2020-04-22
• 公開（公告）號: CN111860861A
• 公開（公告）日: 2020-10-30
• 發明（設計）人: E·法爾基;O·拉茲;M·扎馬諾維奇
• 申請（專利權）人: 國際商業機器公司
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06K9/62
• 代理公司: 北京市中咨律師事務所 11247
• 代理人: 于靜;楊曉光

本發明涉及一種用于識別對預測器具有不利影響的數據漂移的方法和裝置。所述方法包括：獲得在特征空間中的實例的基線數據集，每個實例與標簽相關聯；基于基線數據集，在特征空間中確定一組集群；基于基線數據集，確定在一組集群上的實例的基線分布；針對每個集群，計算每個集群的預測器的性能度量，預測器被配置為估計實例的估計標簽，性能度量指示預測器對集群所包括的基線數據集的一部分的成功估計；獲得第二數據集，第二數據集包括在特征空間中的實例；確定在一組集群上的實例的第二分布，所述確定第二分布是基于第二數據集；基于第二分布和基線分布，并且基于一組集群中的至少一個集群的性能度量，識別第二數據集相對于基線數據集的數據漂移。

技術領域

本公開一般地涉及機器學習，更具體地說，涉及識別數據質量的下降。

背景技術

機器學習(ML)算法處于學術研究以及商業化服務和產品的前沿。當尋找預測模型的問題已基本解決時，又出現了新問題。一個問題是實驗室之外的預測模型的魯棒性。

諸如實施機器學習技術之類的預測模型取決于數據。預測模型可以與用于訓練模型的數據一樣好。如果訓練數據提供了現實世界數據的充分表示，則預測模型很可能在用于生產時提供相對好的預測。一旦模型被訓練并被用于在現實生活場景中做出實際預測，模型就可能遇到與用于訓練模型的數據顯著不同的數據，結果，模型可能提供不可靠的預測，并且在執行上通常會低于標準。

發明內容

所公開的主題的一個示例性實施例是一種方法，所述方法包括：獲得基線數據集，其中，所述基線數據集包括第一組實例，每個實例包括在特征空間中的特征值，其中，所述第一組實例中的每個實例與標簽相關聯；基于所述第一組實例的所述特征值，在所述特征空間中確定一組集群；確定在所述一組集群上的實例的基線分布，其中，所述確定所述基線分布是基于所述基線數據集；針對每個集群，計算所述每個集群的預測器的性能度量，其中，所述預測器被配置為估計實例的估計標簽，其中，所述性能度量指示所述預測器對所述每個集群所包括的所述第一組實例的一部分的成功估計；獲得第二數據集，其中，所述第二數據集包括第二組實例，其中，每個所述實例包括在所述特征空間中的特征值；確定在所述一組集群上的實例的第二分布，其中，所述確定所述第二分布是基于所述第二數據集；以及基于所述第二分布和所述基線分布，并且基于所述一組集群中的至少一個集群的至少一個性能度量，識別所述第二數據集相對于所述基線數據集的數據漂移。

所公開的主題的另一示例性實施例是一種具有處理器和相耦接的存儲器的計算機化裝置，所述處理器適于執行以下步驟：獲得基線數據集，其中，所述基線數據集包括第一組實例，每個實例包括在特征空間中的特征值，其中，所述第一組實例中的每個實例與標簽相關聯；基于所述第一組實例的所述特征值，在所述特征空間中確定一組集群；確定在所述一組集群上的實例的基線分布，其中，所述確定所述基線分布是基于所述基線數據集；針對每個集群，計算所述每個集群的預測器的性能度量，其中，所述預測器被配置為估計實例的估計標簽，其中，所述性能度量指示所述預測器對所述每個集群所包括的所述第一組實例的一部分的成功估計；獲得第二數據集，其中，所述第二數據集包括第二組實例，其中，每個所述實例包括在所述特征空間中的特征值；確定在所述一組集群上的實例的第二分布，其中，所述確定所述第二分布是基于所述第二數據集；以及基于所述第二分布和所述基線分布，并且基于所述一組集群中的至少一個集群的至少一個性能度量，識別所述第二數據集相對于所述基線數據集的數據漂移。