[發明專利]AI模型的自動迭代運維方法、系統、設備及存儲介質

在審

• 申請號: 202010190700.7
• 申請日: 2020-03-18
• 公開（公告）號: CN111461283A
• 公開（公告）日: 2020-07-28
• 發明（設計）人: 范博;周海剛;陳宇;艾青;王樂
• 申請（專利權）人: 上海攜程商務有限公司
• 主分類號: G06N3/00
• 分類號: G06N3/00;G06N20/00
• 代理公司: 上海弼興律師事務所 31283
• 代理人: 薛琦;張冉

1.一種AI模型的自動迭代運維方法，其特征在于，所述自動迭代運維方法包括以下步驟：

S1、獲取訓練集對應的版本號及待訓練AI模型對應的版本名；

S2、根據所述版本號及所述版本名使用訓練服務從文件系統自動下載所述訓練集和所述待訓練AI模型；

S3、所述訓練服務使用所述訓練集自動對所述待訓練AI模型進行訓練；

S4、所述訓練服務自動對訓練的效果進行評估，以得到評估結果；

S5、所述訓練服務根據所述評估結果判斷是否進行模型替換，若是則自動熱加載替換模型。

2.如權利要求1所述的AI模型的自動迭代運維方法，其特征在于，所述S1還包括：獲取訓練方式和待替換AI模型對應的版本名；

所述S2還包括：根據所述待替換AI模型對應的版本名使用訓練服務從所述文件系統自動下載所述待替換AI模型；

所述訓練方式包括增量訓練和全量訓練；

所述S3包括：

若所述訓練方式為全量訓練，則所述訓練服務使用所述訓練集自動對所述待訓練AI模型進行訓練，以得到全量訓練后的模型；

若所述訓練方式為增量訓練，則所述訓練服務使用所述訓練集自動對所述待替換AI模型進行訓練，以得到增量訓練后的模型；

所述S4包括以下步驟：

若所述訓練方式為全量訓練，則所述訓練服務自動對所述待訓練AI模型和所述全量訓練后的模型的精確率和/或召回率進行比較，以得到評估結果；

若所述訓練方式為增量訓練，則所述訓練服務自動對所述待替換AI模型和所述增量訓練后的模型的精確率和/或召回率進行比較，以得到評估結果。

3.如權利要求2所述的AI模型的自動迭代運維方法，其特征在于，在所述S2和所述S3之間還包括以下步驟：

所述訓練服務自動對所述訓練集及所述待訓練AI模型和/或所述待替換AI模型進行格式校驗，所述訓練服務根據校驗結果自動判斷所述訓練集及所述待訓練AI模型和/或所述待替換AI模型是否可用。

4.如權利要求2所述的AI模型的自動迭代運維方法，其特征在于，所述待訓練AI模型、所述待替換AI模型、所述全量訓練后的模型、所述增量訓練后的模型均為python數據模型；

所述S3和所述S4之間還包括以下步驟：

所述訓練服務自動將所述python數據模型轉換成JAVA數據模型，并對所述JAVA數據模型進行格式校驗，若校驗通過則執行所述S4。

5.如權利要求1所述的AI模型的自動迭代運維方法，其特征在于，所述版本名包括業務線名、場景名、數據周期名。

6.如權利要求1所述的AI模型的自動迭代運維方法，其特征在于，所述S5包括以下步驟：

所述訓練服務根據所述評估結果判斷是否進行模型替換，若是則判斷是否自動替換，若是則自動熱加載替換模型，若否則將所述評估結果通過郵件和/或短信發送至預設的接收端。

7.一種AI模型的自動迭代運維系統，其特征在于，包括前端、管理端和訓練服務端；

所述前端用于獲取訓練集對應的版本號；

所述管理端用于獲取待訓練AI模型對應的版本名；

所述訓練服務端包括下載模塊、訓練模塊、評估模塊和替換模塊；

所述下載模塊用于根據所述版本號及所述版本名從文件系統自動下載所述訓練集和所述待訓練AI模型；

所述訓練模塊用于使用所述訓練集自動對所述待訓練AI模型進行訓練；

所述評估模塊用于自動對訓練的效果進行評估，以得到評估結果；

所述替換模塊用于根據所述評估結果判斷是否進行模型替換，若是則自動熱加載替換模型。