[發明專利]基于帶權重采樣的概念漂移檢測方法、系統及電子設備

有效

• 申請號: 202110287380.1
• 申請日: 2021-03-17
• 公開（公告）號: CN113033643B
• 公開（公告）日: 2022-11-22
• 發明（設計）人: 林鋒;施曉華;盧宏濤
• 申請（專利權）人: 上海交通大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N20/00
• 代理公司: 上海光華專利事務所(普通合伙) 31219
• 代理人: 龐紅芳

1.一種基于帶權重采樣的概念漂移檢測方法，其特征在于：包括：

基于歷史數據訓練離線模型，并利用所述離線模型對線上數據進行模型推理，輸出模型推理結果；

接收在線實時數據，基于在線實時數據和所述歷史數據計算概念漂移值，并判斷所述概念漂移值是否大于漂移閾值，若是則確認在線實時數據存在概念漂移，若否則確認在線實時數據不存在概念漂移；

在所述在線實時數據存在概念漂移時，基于所述在線實時數據和歷史數據對所述離線模型和訓練所述離線模型的訓練數據進行更新；

基于更新后的離線模型對線上數據進行模型推理，輸出模型推理結果；

所述基于在線實時數據和所述歷史數據計算概念漂移值包括：

對所述歷史數據進行多次采樣，獲取多次采樣數據；

分別基于在線實時數據和每次采樣數據計算對應的最大平均差異值；

獲取多個最大平均差異值的數據平均值，并將該所述數據平均值確定為所述概念漂移值。

2.根據權利要求1所述的基于帶權重采樣的概念漂移檢測方法，其特征在于：對歷史數據的采樣次數與歷史數據的數據量的關系為：

其中，k為采樣次數，m為歷史數據的數據量。

3.根據權利要求1所述的基于帶權重采樣的概念漂移檢測方法，其特征在于：所述基于帶權重采樣的概念漂移檢測方法還包括：

對歷史數據中的每一個數據樣本進行基于時間排序的特征標記；

配置數據樣本權重的下降率，以控制各時間段數據樣本被采集的概率。

4.根據權利要求3所述的基于帶權重采樣的概念漂移檢測方法，其特征在于：所述數據樣本被采集的概率為：

ε_i＝Aγⁱ；

其中，i為當前數據樣本的標記數，ε_i為第i個數據樣本被采集的概率，γ為數據樣本權重的下降率，γ＝(1-1/n)，A為歸一化因子；n為歷史數據中樣本數量，

5.一種基于帶權重采樣的概念漂移檢測系統，其特征在于：包括：

模型訓練模塊，基于歷史數據訓練離線模型；

推理服務模塊，利用所述離線模型對線上數據進行模型推理，輸出模型推理結果；

概念漂移模塊，用于接收在線實時數據，基于在線實時數據和所述歷史數據計算概念漂移值，并判斷所述概念漂移值是否大于漂移閾值，若是則確認在線實時數據存在概念漂移，若否則確認在線實時數據不存在概念漂移；

所述模型訓練模塊在所述在線實時數據存在概念漂移時，基于所述在線實時數據和歷史數據對所述離線模型和訓練所述離線模型的訓練數據進行更新；

所述推理服務模塊基于更新后的離線模型對線上數據進行模型推理，輸出模型推理結果；

所述概念漂移模塊包括：

采樣單元，用于對所述歷史數據進行多次采樣，獲取多次采樣數據；

差異值計算單元，用于分別基于在線實時數據和每次采樣數據計算對應的最大平均差異值；

漂移值確定單元，用于獲取多個最大平均差異值的數據平均值，并將該所述數據平均值確定為所述概念漂移值。

6.根據權利要求5所述的基于帶權重采樣的概念漂移檢測系統，其特征在于：對歷史數據的采樣次數與歷史數據的數據量的關系為：

其中，k為采樣次數，m為歷史數據的數據量。

7.根據權利要求5所述的基于帶權重采樣的概念漂移檢測系統，其特征在于：還包括：采樣權重控制模塊；

所述采樣權重控制模塊用于對歷史數據中的每一個數據樣本進行基于時間排序的特征標記，并配置數據樣本權重的下降率，以控制各時間段數據樣本被采集的概率；

其中，所述數據樣本被采集的概率為：

ε_i＝Aγⁱ；

其中，i為當前數據樣本的標記數，ε_i為第i個數據樣本被采集的概率，γ為數據樣本權重的下降率，γ＝(1-1/n)，A為歸一化因子；n為歷史數據中樣本數量，

8.一種電子設備，其特征在于，包括存儲器，用于存儲計算機程序；處理器，與所述存儲器相連，用于運行所述計算機程序以實現如權利要求1至4任一項所述的基于帶權重采樣的概念漂移檢測方法。