[發明專利]深度學習模型在線推理方法、裝置、電子設備和存儲介質

有效

• 申請號: 202010214817.4
• 申請日: 2020-03-24
• 公開（公告）號: CN111461332B
• 公開（公告）日: 2021-08-20
• 發明（設計）人: 封宇;陳興振;陳澤龍
• 申請（專利權）人: 北京五八信息技術有限公司
• 主分類號: G06N5/04
• 分類號: G06N5/04;G06F9/54
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 莎日娜

本發明提供了一種深度學習模型在線推理方法、裝置、電子設備和存儲介質，該方法包括：通過與深度學習框架對應的RPC調用接口接收在線推理請求；獲取基于所述深度學習框架部署的深度學習模型對應的節點配置文件，所述節點配置文件包括多個節點的IP地址和端口；從所述多個節點中確定一個節點，作為推理節點，并根據所述推理節點的IP地址和端口將所述在線推理請求發送至所述推理節點，以使所述推理節點調用所述深度學習模型獲得推理結果；接收所述推理節點返回的推理結果。本發明實現了通過RPC調用接口統一接收在線推理請求，并從部署深度學習模型的多個節點中通過負載均衡策略確定執行在線推理的推理節點，提升了在線推理性能。

技術領域

本發明涉及深度學習技術領域，特別是涉及一種深度學習模型在線推理方法、裝置、電子設備和存儲介質。

背景技術

做深度學習算法時在模型訓練完畢后，往往需要將模型在生產環境中部署，以實現在線推理。最常見的方式，是在服務器上提供一個API，即客戶機向服務器的某個API發送特定格式的請求，服務器收到請求數據后通過模型進行計算，并返回結果。

深度學習算法在線推理時可以通過深度學習框架TensorFlow模型或PyTorch模型來實現?，F有技術中，這兩種深度學習框架都是單節點部署，在數據量較大時，導致在線推理性能較差。而且深度學習框架多樣，開發人員如果使用不同的深度學習框架，需要熟悉多種框架，學習成本大。

發明內容

鑒于上述問題，提出了本發明實施例以便提供一種克服上述問題或者至少部分地解決上述問題的一種深度學習模型在線推理方法、裝置、電子設備和存儲介質。

依據本發明的第一方面，提供了一種深度學習模型在線推理方法，包括：

通過與深度學習框架對應的遠程過程調用RPC調用接口接收在線推理請求；

獲取基于所述深度學習框架部署的深度學習模型對應的節點配置文件，所述節點配置文件包括多個節點的IP地址和端口；

從所述多個節點中確定一個節點，作為推理節點，并根據所述推理節點的IP地址和端口將所述在線推理請求發送至所述推理節點，以使所述推理節點調用所述深度學習模型獲得推理結果；

接收所述推理節點返回的推理結果。

可選的，所述從所述多個節點中確定一個節點，作為推理節點，包括：

根據所述多個節點的有效權重，從所述多個節點中確定一個節點，作為推理節點。

可選的，在所述根據所述推理節點的IP地址和端口將所述在線推理請求發送至所述推理節點之后，還包括：

若所述推理節點異常，則降低所述推理節點的有效權重；

若所述推理節點正常響應，則提升所述推理節點的有效權重。

可選的，所述深度學習框架包括PyTorch模型框架或TensorFlow模型框架。

可選的，在所述獲取基于所述深度學習框架部署的深度學習模型對應的節點配置文件之前，還包括：

獲取基于PyTorch模型框架的深度學習模型對應的模型文件；

生成所述PyTorch模型框架的鏡像文件，所述鏡像文件包括PyTorch模型框架的運行環境和數據接口協議；

將所述鏡像文件和模型文件發送至多個節點，以使所述多個節點分別運行所述鏡像文件以創建容器，并將模型文件掛載到所述容器中，確定調用所述容器的端口；

獲取所述多個節點的IP地址和端口，并將所述多個節點的IP地址和端口寫入節點配置文件。

可選的，還包括：