[發明專利]基于模型編排的多模型協作系統及方法

有效

• 申請號: 202010419296.6
• 申請日: 2020-05-18
• 公開（公告）號: CN111752554B
• 公開（公告）日: 2021-03-12
• 發明（設計）人: 劉鶴輝;王黎明;李國志;滕華
• 申請（專利權）人: 南京認知物聯網研究院有限公司
• 主分類號: G06F8/35
• 分類號: G06F8/35;G06N20/00
• 代理公司: 廣州潤禾知識產權代理事務所(普通合伙) 44446
• 代理人: 林偉斌;歐秋望

本發明公開了基于模型編排的多模型協作系統及方法，其中系統包括第一客戶端、模型管理后臺和模型庫：模型庫用于存儲若干個標準化模型；第一客戶端用于構建模型編排樹節點，并將模型庫中的標準化模型設在模型編排樹節點上以構建模型編排樹，將模型編排樹節點上的標準化模型綁定至圖形處理器；模型管理后臺根據模型編排樹、編排樹節點上的標準化模型和模型綁定的圖形處理器生成模型調度關系表；本發明提供的系統中設有獨立通用的模型調度引擎，利用模型編排樹這一直觀的編排方式，本系統可應用于多種利用模型進行計算的場景，且本系統在更新或替換模型時無需通過修改代碼實現。

技術領域

本發明涉及工業智能領域，更具體地，涉及基于模型編排的多模型協作系統和方法。

背景技術

目前機器學習應用的開發過程基本都是準備數據，選擇模型，調整優化模型，最后上線供外部應用調用。通常都是基于豎井式的方法進行模型應用開發，將基于場景的數據輸入輸出處理、模型調度邏輯、模型算法、算法執行框架等幾個層面的技術以及代碼邏輯強綁定，形成一個不可分割的完整模塊，從而導致整個應用場景的計算、模型、調度、數據全部都綁定在一起。而這樣的模型應用開發方案中，存在著以下的缺陷：

(1)基于業務場景建模的數據模型與圖片數據、算法糅合在一起，導致業務建模一旦變動，算法的調度邏輯和算法本身也需要變動，由此容易出錯，且開發效率低；

(2)整個方案與特定的模型執行框架(caffee或者mmdection)綁定在一起，升級改造難度大，成本高，難以適應現有深度學習模型框架快速發展變化的技術背景；

(3)整個方案的代碼邏輯融合在一起，一旦某個或某些模型需要更新，則需要全部停機，無法實現模型的在線更新維護；

(4)如涉及到多個模型一起參與計算的場景下，通常是把多個模型合并到一起進行調用，或者是分開地逐一通過API進行不同模型的調用，當需要部分更換模型時，只能去修改代碼，進行整體版本的迭代；

(5)沒有獨立出來形成一個通用的模型調度引擎，每拿到一個新的模型，開發、訓練好就直接集成使用，需要更新或者替換的時候牽扯到代碼很多地方，效率低下，同時每次在應用到新的場景時，整個方案都得從頭到尾重新開發、測試、部署，耗費人力和時間。

發明內容

本發明旨在克服上述現有技術的至少一種缺陷，提供基于模型編排的多模型協作系統和方法，用于解決現有模型集成使用后在調用和更替模型過程中帶來不便和繁瑣的問題。

本發明提供的技術方案為：

一種基于模型編排的多模型協作系統，所述系統包括第一客戶端、模型管理后臺和模型庫：

模型庫用于存儲若干個標準化模型；所述第一客戶端用于構建模型編排樹節點，并將模型庫所存儲的若干個標準化模型設在所述模型編排樹節點上以形成模型編排樹；所述第一客戶端還用于將所有所述模型編排樹節點上的若干個所述標準化模型綁定至圖形處理器，以使若干個標準化模型采用所述圖形處理器運行；

模型管理后臺根據第一客戶端所形成的所述模型編排樹、所述模型編排樹節點上的所設有的所述標準化模型和所述標準化模型綁定的圖形處理器生成模型調度關系表；