[發明專利]一種數據處理方法、裝置、設備和介質

在審

• 申請號: 202210462556.7
• 申請日: 2022-04-28
• 公開（公告）號: CN114780997A
• 公開（公告）日: 2022-07-22
• 發明（設計）人: 江伊雯;劉圣龍;張舸;趙濤;呂艷麗;周鑫;夏雨瀟;王衡;王迪
• 申請（專利權）人: 國家電網有限公司大數據中心
• 主分類號: G06F21/62
• 分類號: G06F21/62;G06N20/00
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 高艷紅

1.一種數據處理方法，其特征在于，包括：

響應于數據處理請求指令，確定目標數據所在的數據片段，其中，所述目標數據為原始數據集中即將執行數據刪除操作的數據；

對所述目標數據所在的數據片段執行刪除操作，并查找所述目標數據所在的數據片段之前的最后一個數據片段；

從所述最后一個數據片段開始對預先創建的目標訓練模型進行重訓練，以得到新的目標訓練模型，其中，所述預先創建的目標訓練模型為按照遺忘概率所劃分得到的低遺忘概率數據片段和高遺忘概率數據片段對原始訓練模型進行訓練得到的模型，其中，所述低遺忘概率數據片段和所述高遺忘概率數據片段的片段數量是等同的。

2.根據權利要求1所述的方法，其特征在于，在響應于數據處理請求指令，確定目標數據所在的數據片段之前，還包括：

對原始數據集進行劃分，得到對應的低遺忘概率數據片段和高遺忘概率數據片段；

依次采用所述低遺忘概率數據片段和所述高遺忘概率數據片段對原始訓練模型進行訓練，得到對應的中間隔離訓練模型；其中，所述中間隔離訓練模型的總數量與所述低遺忘概率數據片段以及所述高遺忘概率數據片段的數量是等同的，并且，所述中間隔離訓練模型、所述低遺忘概率數據片段以及所述高遺忘概率數據片段之間是一一對應的；

采用預設聚合算法對所有所述中間隔離訓練模型進行聚合處理，得到對應的目標訓練模型。

3.根據權利要求2所述的方法，其特征在于，所述對原始數據集進行劃分，得到對應的低遺忘概率數據片段和高遺忘概率數據片段，包括：

根據原始數據集中原始數據的遺忘概率將所述原始數據集劃分為低遺忘概率數據集和高遺忘概率數據集；

分別對所述低遺忘概率數據集和所述高遺忘概率數據集中進行等片劃分，得到對應的低遺忘概率數據片段和高遺忘概率數據片段；其中，每個所述低遺忘概率數據片段包含的數據量是等同的，以及每個所述高遺忘概率數據片段包含的數據量是等同的。

4.根據權利要求2所述的方法，其特征在于，所述依次采用所述低遺忘概率數據片段和所述高遺忘概率數據片段對原始訓練模型進行訓練，得到對應的中間隔離訓練模型，包括：

采用增量訓練方式，并基于所述低遺忘概率數據片段對原始訓練模型進行預訓練，得到與每個所述低遺忘概率數據片段對應的預處理隔離訓練模型；

采用增量訓練方式，并基于所述高遺忘概率數據片段對所述預處理隔離訓練模型進行微調，得到與每個所述高遺忘概率數據片段對應的中間隔離訓練模型。

5.根據權利要求1或2所述的方法，其特征在于，所述采用預設聚合算法對所有所述中間隔離訓練模型進行聚合處理，得到對應的目標訓練模型，包括：

采用多數投票法或簡單平均法對所有中間隔離訓練模型進行聚合處理，得到對應的目標訓練模型。

6.根據權利要求3所述的方法，其特征在于，所述根據原始數據集中原始數據的遺忘概率將所述原始數據集劃分為低遺忘概率數據集和高遺忘概率數據集，包括：

按照原始數據的遺忘概率對原始數據集中的所有原始數據進行升序排序；

按照數據比例或遺忘概率和的比例對原始數據進行劃分，得到低遺忘概率數據集和高遺忘概率數據集。

7.根據權利要求4所述的方法，其特征在于，在所述采用增量訓練方式，并基于所述高遺忘概率數據片段對所述預處理隔離訓練模型進行微調，得到與每個所述高遺忘概率數據片段對應的中間隔離訓練模型之前，還包括：

根據所述低遺忘概率數據集和所述高遺忘概率數據集中所包含數據量的大小關系，對所述預處理隔離訓練模型中部分層的參數進行固定。