[發明專利]基于知識鞏固的增量事件識別方法、系統、裝置有效
| 申請號： | 202011244409.X | 申請日： | 2020-11-10 |
| 公開（公告）號： | CN112101484B | 公開（公告）日： | 2021-02-12 |
| 發明（設計）人： | 陳玉博;趙軍;劉康;曹鵬飛 | 申請（專利權）人： | 中國科學院自動化研究所 |
| 主分類號： | G06K9/62 | 分類號： | G06K9/62 |
| 代理公司： | 北京市恒有知識產權代理事務所(普通合伙) 11576 | 代理人： | 郭文浩;尹文會 |
| 地址： | 100190 *** | 國省代碼： | 北京;11 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 基于 知識 鞏固 增量 事件 識別 方法 系統 裝置 | ||
1.一種基于知識鞏固的增量事件識別方法，其特征在于，該方法包括以下步驟：
步驟S10，獲取待識別事件的文本，作為輸入文本；
步驟S20，通過預訓練的語言模型提取所述輸入文本中各單詞的上下文特征，并通過多層感知器模型得到所述待識別事件的類別；
所述語言模型、所述多層感知器模型，訓練方法為：
步驟A10，獲取新類別的事件數據，并結合記憶單元中存儲的舊類別的事件數據，構建訓練樣本集；所述事件數據包括事件的文本及事件的真實類別；
步驟A20，對訓練樣本集中的各事件，通過語言模型提取其文本中每個單詞的上下文特征，并通過多層感知器模型得到其對應的預測類別；
步驟A30，基于訓練樣本集中各事件的真實類別、預測類別，通過交叉熵損失函數獲取交叉熵損失值，作為第一損失值；
步驟A40，對訓練樣本集中舊類別的事件、新類別的事件，基于其文本中每個單詞的上下文特征，通過預設的第一蒸餾損失函數獲取基于特征的蒸餾損失值，作為第二損失值；并基于其預測類別對應的概率分布，通過預設的第二蒸餾損失函數得到基于預測的蒸餾損失值，作為第三損失值；
步驟A50，將所述第一損失值、所述第二損失值、所述第三損失值加權求和后，更新所述語言模型、所述多層感知器模型的網絡參數；
步驟A60，計算所述記憶單元各舊類別中待刪除事件的數量，按照該數量刪除各舊類別中距離類別中心較遠的事件；
步驟A70，計算新類別的類別中心，將距離該類別中心較近的新類別的事件保留，并增入所述記憶單元；
步驟A80，循環執行步驟A10-A70，直至得到訓練好的語言模型、多層感知器模型。
2.根據權利要求1所述的基于知識鞏固的增量事件識別方法，其特征在于，所述交叉熵損失值，其獲取方法為：
其中，表示交叉熵損失值，表示訓練樣本集中事件的數量，、分別表示訓練樣本集中各事件的真實類別、預測類別，、分別表示事件的文本、文本中的單詞。
3.根據權利要求2所述的基于知識鞏固的增量事件識別方法，其特征在于，所述基于特征的蒸餾損失值，其獲取方法為：
其中，表示基于特征的蒸餾損失值，、分別表示訓練樣本集中舊類別、新類別事件文本中每個單詞的上下文特征。
4.根據權利要求3所述的基于知識鞏固的增量事件識別方法，其特征在于，所述基于預測的蒸餾損失值，其獲取方法為：
其中，表示基于預測的蒸餾損失值，表示記憶單元中舊類別的數量，、分別為上一輪迭代訓練過程中多層感知器模型的logit表示、當前輪迭代訓練過程中多層感知器模型的logit表示，表示溫度標量，表示下標。
5.根據權利要求4所述的基于知識鞏固的增量事件識別方法，其特征在于，步驟A60中“計算所述記憶單元各舊類別中待刪除事件的數量”，其方法為：
其中，表示記憶單元存儲空間的大小，表示新類別的數量，表示記憶單元各舊類別中待刪除事件的數量。
6.根據權利要求1中所述的基于知識鞏固的增量事件識別方法，其特征在于，步驟A70中“計算新類別的類別中心”，其方法為：
其中，表示新類別的類別中心，表示屬于類別的事件的數目，表示新類別的事件的真實類別。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于中國科學院自動化研究所，未經中國科學院自動化研究所許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202011244409.X/1.html，轉載請聲明來源鉆瓜專利網。
