[發明專利]一種容器化深度學習模型反饋訓練系統及方法

在審

• 申請號: 202211382595.2
• 申請日: 2022-11-04
• 公開（公告）號: CN115759227A
• 公開（公告）日: 2023-03-07
• 發明（設計）人: 黃劉;楊露;李春豹;劉鑫
• 申請（專利權）人: 中國電子科技集團公司第十研究所
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N5/04;G06F9/455
• 代理公司: 成都九鼎天元知識產權代理有限公司 51214
• 代理人: 孫元偉

本發明公開了一種容器化深度學習模型反饋訓練系統及方法，該系統包括管理服務模塊、數據集模塊和模型管理模塊，管理服務模塊用于在接收到用戶操作業務應用產生的人工確認標注數據時，控制各模型完成訓練和更新；數據集模塊用于存儲收集管理服務模塊接收到的標注數據，并將標注數據轉化為訓練數據，發送給各模型進行模型訓練；模型管理模塊，包括若干個模型，用于根據接收的訓練數據，對訓練數據對應的模型進行訓練和更新，供業務應用調用。本發明提出了一種容器化深度學習模型反饋訓練框架，利用容器提供深度學習模型的統一部署和訓練環境，實現基于用戶反饋標注數據的模型自動訓練更新，解決了系統處理效率降低的技術問題。

技術領域

本發明涉及信息系統技術領域，尤其涉及到一種容器化深度學習模型反饋訓練系統及方法。

背景技術

當前以深度學習為代表的智能算法模型在文本信息處理系統中開展了大量集成應用，構建了數量眾多的智能模型服務(如：實體抽取、自動摘要、情感分析等)，極大的提高了系統的智能化水平。

然而，在傳統模式下，深度學習模型部署到系統后，不能隨著處理的業務數據變化而自動訓練更新，一段時間后系統的處理效率會降低。

發明內容

本發明的主要目的在于提供一種容器化深度學習模型反饋訓練系統及方法，旨在解決目前深度學習模型不能基于用戶反饋標注數據進行自動訓練與更新導致的系統處理效率降低的技術問題。

為實現上述目的，本發明提供一種容器化深度學習模型反饋訓練系統，所述系統包括：

管理服務模塊，用于在接收到用戶操作業務應用產生的人工確認標注數據時，控制各模型完成訓練和更新；

數據集模塊，用于存儲收集所述管理服務模塊接收到的標注數據，并將所述標注數據轉化為訓練數據，發送給各模型進行模型訓練；

模型管理模塊，包括若干個模型，用于根據接收的訓練數據，對所述訓練數據對應的模型進行訓練和更新，供業務應用調用。

可選的，所述管理服務模塊還配置有連接業務應用的采集接口，用于采集業務應用調用模型產生的標注數據。

可選的，每個所述模型包括推理容器和訓練容器；其中：

所述訓練容器用于根據管理服務模塊發送的訓練指令，利用接收的訓練數據進行模型訓練；

所述推理容器用于根據管理服務模塊發送的更新指令，利用訓練后的模型進行模型更新。

可選的，所述訓練容器和所述推理容器掛載相同的模型共享目錄；其中：

所述模型共享目錄用于在訓練容器執行模型訓練后存儲訓練容器訓練好的模型；

所述模型共享目錄還用于在推理容器執行模型更新時，從模型共享目錄中加載訓練好的模型。

可選的，所述推理容器還配置有連接業務應用的服務接口，用于業務應用調用模型管理模塊訓練和更新后的模型。

為了實現上述目的，本發明還提供一種容器化深度學習模型反饋訓練方法，用于如上所述的容器化深度學習模型反饋訓練系統，所述方法包括：

S1：管理服務模塊采集業務應用的標注數據，數據集模塊將所述標注數據轉換為訓練數據；

S2：模型管理模塊根據訓練數據執行模型訓練；

S3：模型管理模塊根據訓練好的模型執行模型更新，供業務應用調用。

可選的，所述步驟S1具體包括：

S101：業務應用調用管理服務提供的采集接口，將經用戶確認模型處理結果產生的標注數據發送給管理服務模塊；

S102：管理服務模塊接收標注數據，并將標注數據存儲到數據集模塊中；