[發明專利]基于損失正則化的安全示險在線持續學習系統

在審

• 申請號: 202110048070.4
• 申請日: 2021-01-14
• 公開（公告）號: CN114764629A
• 公開（公告）日: 2022-07-19
• 發明（設計）人: 謝龍飛;張躍坤;陳樹山;王龍
• 申請（專利權）人: 新智數字科技有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06N3/08;G06F16/215;G06F16/23;G06F16/25;G06F16/27
• 代理公司: 北京嘉科知識產權代理事務所(特殊普通合伙) 11687
• 代理人: 楊波

本發明公開了基于損失正則化的安全示險在線持續學習系統，屬于持續學習系統技術領域，包括數據平臺、應用平臺、數據捕捉模塊、數據識別模塊、訓練模塊、數據讀取模塊、學習模型模塊、損失函數模塊和差分數據模塊，其中，數據平臺的輸出端與數據捕捉模塊相接，數據捕捉模塊的輸出端與數據識別模塊相接，數據識別模塊的輸出端與數據讀取模塊相接。本發明提出的基于損失正則化的安全示險在線持續學習系統，基于損失正則化，將新舊知識拆分，最小化二者之間的差異，防止災難性遺忘的問題，基于樣本重現，保留部分具有代表性的樣本OR知識庫，與新數據一同訓練，基于網絡結構調整，用部分網絡學習舊的任務，新的知識采用網絡中其他部分存儲。

技術領域

本發明涉及持續學習系統技術領域，特別涉及基于損失正則化的安全示險在線持續學習系統。

背景技術

傳統做法中，當機器學習算法部署到應用端后，各公司仍持續產生新的數據，但當前模型已被固化，無法從新數據中獲得新的知識。傳統基于Fine-Tuning的二次訓練，需要收集新的訓練數據，這在聯合學習數據隔離的場景下頗不現實。災難性遺忘：持續產生的新數據不斷訓練會使以前習得的舊知識慢慢遺忘，若與任務高度相關的知識被遺忘則會導致性能出現災難性的下降。參與方相互干擾：由于個參與方設備數量、種類等不同，天然存在固有的數據異構性，從而不同參與方產生的新數據之間存在一定的干擾。

發明內容

本發明的目的在于提供基于損失正則化的安全示險在線持續學習系統，基于損失正則化，將新舊知識拆分，最小化二者之間的差異，防止災難性遺忘的問題，基于樣本重現，保留部分具有代表性的樣本OR知識庫，與新數據一同訓練，基于網絡結構調整，用部分網絡學習舊的任務，新的知識采用網絡中其他部分存儲，以解決上述背景技術中提出的問題。

為實現上述目的，本發明提供如下技術方案：基于損失正則化的安全示險在線持續學習系統，包括數據平臺、應用平臺、數據捕捉模塊、數據識別模塊、訓練模塊、數據讀取模塊、學習模型模塊、損失函數模塊和差分數據模塊，其中，數據平臺的輸出端與數據捕捉模塊相接，數據捕捉模塊的輸出端與數據識別模塊相接，數據識別模塊的輸出端與數據讀取模塊相接，數據讀取模塊的輸出端與學習模型模塊相接，學習模型模塊的輸出端分別與訓練模塊和損失函數模塊相接，損失函數模塊的輸出端與差分數據模塊相接，差分數據模塊的輸出端與應用平臺相接，應用平臺的輸出端與數據平臺相接。

進一步地，數據平臺包括服務器、舊數據庫、數據管理模塊、新數據庫和數據分配模塊，舊數據庫和數據管理模塊的輸入端與數據分配模塊相接，數據分配模塊的輸入端與數據管理模塊相接，數據管理模塊通過服務器與應用平臺相接。

進一步地，服務器用于應用平臺的數據讀取、復制、轉移進行實時監測，進行實時數據管理模塊的更新；

所述的舊數據庫用于存儲未進行訓練舊數據；

所述的數據管理模塊用于管理應用平臺的舊數據和新數據，并且控制數據分配模塊將獲得舊數據和新數據分配模塊至舊數據庫和新數據庫中；

所述的新數據庫用于存放當機器學習算法后持續產生新的數據，且為經過訓練后的新知識；

所述的數據分配模塊用于確定應用平臺發送數據，其中確定其訓練數據，并與舊數據分開同步輸送數據至舊數據庫和新數據庫內。

進一步地，數據捕捉模塊用于捕捉機器學習算法部署到應用端后持續產生新的數據，并且新數據庫和舊數據庫自身的日志來判斷變化的數據，在對源表進行insert、update或delete操作的同時就可以提取變化的數據，并且變化的數據被保存在數據庫的變化表中提供給數據識別模塊。

進一步地，數據識別模塊用于調取捕捉模塊所獲得的變化數據，并對變化數據進行采集、清洗、轉換并發送至通訊至訓練模塊，并且同步的記錄變化數據的變化幅度并實時統計信息。