[發明專利]機器學習模型與自定義算子的模板化部署方法

有效

• 申請號: 202010105170.1
• 申請日: 2020-02-20
• 公開（公告）號: CN111399853B
• 公開（公告）日: 2023-06-06
• 發明（設計）人: 何思佑
• 申請（專利權）人: 四川新網銀行股份有限公司
• 主分類號: G06F8/60
• 分類號: G06F8/60;G06N20/00
• 代理公司: 成都智言知識產權代理有限公司 51282
• 代理人: 濮云杉

1.機器學習模型與自定義算子的模板化部署方法，其特征包括：

A.根據機器學習模型的預測過程，通過服務器的處理器在存儲介質中設置具有5個步驟的供不同框架模型實例化時調用的通用模板，在通用模板中具有實現所述5個步驟的通用代碼和不通用部分，并將所述的不通用部分以替代符的形式替代；

B.所述處理器提取出用戶通過輸入設備輸入的框架名稱和上傳的機器學習模型中的模型名稱，并將所述的框架名稱和模型名稱在配置文件中進行匹配，如果配置文件中有對應的框架名稱和模型名稱，則提取出配置文件中對應的框架和機器學習模型中的相應字段對應替換通用模板中的替代符；

C.處理器根據替換了替代符的通用模板生成可執行文件并保存在服務器內存中；

D.在服務器中以容器的形式運行通用模板和用戶上傳的機器學習模型，以用戶輸入的模型ID和用戶請求當前模型的自定義算子ID作為唯一區分鍵，然后將實例化后的機器學習模型加入到供用戶調用的服務序列中；

E.當服務器接收到用戶的HTTP請求時，根據用戶輸入的模型ID或自定義算子ID在所述服務序列中查找對應的機器學習模型實例，并調用查找到的機器學習模型實例中的預測方法計算后返回結果。

2.如權利要求1所述的機器學習模型與自定義算子的模板化部署方法，其特征為：步驟A中所述的5個步驟分別是與機器學習模型的預測過程對應的輸入檢測、模型載入、數據轉化、預測結果和卸載模型。

3.如權利要求1所述的機器學習模型與自定義算子的模板化部署方法，其特征為：步驟B中，如果配置文件中沒有對應的框架名稱和模型名稱，則由用戶補充相應的配置文件后再執行步驟B。

4.如權利要求1所述的機器學習模型與自定義算子的模板化部署方法，其特征為：針對自定義算子，在所述通用模板中具有接收用戶輸入參數的過程方法，作為用戶調用的入口，并且無論該過程方法是否有返回值，都在該過程方法的末尾添加返回代碼以區分變量區間。

5.如權利要求1所述的機器學習模型與自定義算子的模板化部署方法，其特征為：步驟C所述的可執行文件中包括：對步驟B所述框架名稱對應的框架所需的所有依賴庫、以用戶輸入的模型ID為區分鍵的統一命名格式的類，以及組成完整的模型預測周期的方法。

6.如權利要求1所述的機器學習模型與自定義算子的模板化部署方法，其特征為：步驟D中，通過Flask工具讀取服務器內存中所述的可執行文件，通過Docker工具整合通用模板和機器學習模型的依賴庫，然后在服務器中以容器的形式運行通用模板和用戶上傳的機器學習模型。

7.如權利要求1所述的機器學習模型與自定義算子的模板化部署方法，其特征為：步驟D所述供用戶調用的服務序列中包含的所有機器學習模型實例對外只提供一個接口地址；步驟E中當服務器接收到用戶的HTTP請求時，根據用戶輸入的模型ID或自定義算子ID將用戶的HTTP請求分發給服務序列中對應的機器學習模型實例。

8.如權利要求1所述的機器學習模型與自定義算子的模板化部署方法，其特征為：步驟E中，在根據用戶輸入的模型ID或自定義算子ID在所述服務序列中查找到對應的機器學習模型實例后，通過該機器學習模型實例中的檢查方法檢查用戶輸入的數據是否正確，如果正確，再調用查找到的機器學習模型實例中的預測方法計算后返回結果，否則返回輸入錯誤的提示信息。