[發明專利]AI模型的自動迭代運維方法、系統、設備及存儲介質

在審

• 申請號: 202010190700.7
• 申請日: 2020-03-18
• 公開（公告）號: CN111461283A
• 公開（公告）日: 2020-07-28
• 發明（設計）人: 范博;周海剛;陳宇;艾青;王樂
• 申請（專利權）人: 上海攜程商務有限公司
• 主分類號: G06N3/00
• 分類號: G06N3/00;G06N20/00
• 代理公司: 上海弼興律師事務所 31283
• 代理人: 薛琦;張冉

本發明公開了一種AI模型的自動迭代運維方法、系統、設備及存儲介質，AI模型的自動迭代運維方法包括：獲取訓練集對應的版本號及待訓練AI模型對應的版本名；根據版本號及版本名使用訓練服務從文件系統自動下載訓練集和待訓練AI模型；訓練服務使用訓練集自動對待訓練AI模型進行訓練；訓練服務自動對訓練的效果進行評估，以得到評估結果；訓練服務根據評估結果判斷是否進行模型替換，若是則自動熱加載替換模型。本發明以AI訓練側服務為中心，配合管理端，可做到AI模型自動迭代運維，按照不同的場景可做到各種不同的模型運維和版本配置；并且使運維人員與各業務模型的復雜邏輯隔離，版本透明，能在減少運維成本的基礎上提高運維效率。

技術領域

本發明涉及人工智能技術領域，特別涉及一種AI(Artificial Intelligence，人工智能)模型的自動迭代運維方法、系統、設備及存儲介質。

背景技術

基于AI技術，多種業務會產生大量的深度學習或機器學習模型，模型的訓練數據來自于線上，而線上數據在長時間下會發生變化，例如黑白樣本比和臟數據占比發生變化，然而使用歷史數據訓練產生的模型無法感知到線上數據的變化，這會導致模型不再貼合實際數據，準確率或召回率會下降。針對AI模型的迭代，需要定期地取線上的數據，經過數據清洗后重新訓練模型，或者在原有模型的基礎上做增量訓練，這樣會帶來多模型運維復雜的問題，具體表現為，模型越多版本管理越復雜，與模型越多人力成本越高的問題，在取數據、數據清洗、模型訓練、新舊模型效果對比、模型替換等階段需要人工介入。

發明內容

本發明要解決的技術問題是為了克服現有技術中人工迭代訓練模型運維困難、人工運維成本高的缺陷，提供一種AI模型的自動迭代運維方法、系統、設備及存儲介質。

本發明是通過下述技術方案來解決上述技術問題：

本發明第一方面提供了一種AI模型的自動迭代運維方法，所述自動迭代運維方法包括以下步驟：

S1、獲取訓練集對應的版本號及待訓練AI模型對應的版本名；

S2、根據所述版本號及所述版本名使用訓練服務從文件系統自動下載所述訓練集和所述待訓練AI模型；

S3、所述訓練服務使用所述訓練集自動對所述待訓練AI模型進行訓練；

S4、所述訓練服務自動對訓練的效果進行評估，以得到評估結果；

S5、所述訓練服務根據所述評估結果判斷是否進行模型替換，若是則自動熱加載替換模型。

較佳地，所述S1還包括：獲取訓練方式和待替換AI模型對應的版本名；

所述S2還包括：根據所述待替換AI模型對應的版本名使用訓練服務從所述文件系統自動下載所述待替換AI模型；

所述訓練方式包括增量訓練和全量訓練；

所述S3包括：

若所述訓練方式為全量訓練，則所述訓練服務使用所述訓練集自動對所述待訓練AI模型進行訓練，以得到全量訓練后的模型；

若所述訓練方式為增量訓練，則所述訓練服務使用所述訓練集自動對所述待替換AI模型進行訓練，以得到增量訓練后的模型；

所述S4包括以下步驟：

若所述訓練方式為全量訓練，則所述訓練服務自動對所述待訓練AI模型和所述全量訓練后的模型的精確率和/或召回率進行比較，以得到評估結果；

若所述訓練方式為增量訓練，則所述訓練服務自動對所述待替換AI模型和所述增量訓練后的模型的精確率和/或召回率進行比較，以得到評估結果。

較佳地，在所述S2和所述S3之間還包括以下步驟：