[發明專利]深度學習模型在線推理方法、裝置、電子設備和存儲介質

有效

• 申請號: 202010214817.4
• 申請日: 2020-03-24
• 公開（公告）號: CN111461332B
• 公開（公告）日: 2021-08-20
• 發明（設計）人: 封宇;陳興振;陳澤龍
• 申請（專利權）人: 北京五八信息技術有限公司
• 主分類號: G06N5/04
• 分類號: G06N5/04;G06F9/54
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 莎日娜

1.一種深度學習模型在線推理方法，應用于提供統一調用RPC服務的服務器，其特征在于，包括：

通過與深度學習框架對應的遠程過程調用RPC調用接口接收在線推理請求；

獲取基于所述深度學習框架部署的深度學習模型對應的節點配置文件，所述節點配置文件包括基于所述深度學習框架部署的深度學習模型的實例所在的多個節點的IP地址和端口；

從所述多個節點中確定一個節點，作為推理節點，并根據所述推理節點的IP地址和端口將所述在線推理請求發送至所述推理節點，以使所述推理節點調用所述深度學習模型獲得推理結果；

接收所述推理節點返回的推理結果。

2.根據權利要求1所述的方法，其特征在于，所述從所述多個節點中確定一個節點，作為推理節點，包括：

根據所述多個節點的有效權重，從所述多個節點中確定一個節點，作為推理節點。

3.根據權利要求2所述的方法，其特征在于，在所述根據所述推理節點的IP地址和端口將所述在線推理請求發送至所述推理節點之后，還包括：

若所述推理節點異常，則降低所述推理節點的有效權重；

若所述推理節點正常響應，則提升所述推理節點的有效權重。

4.根據權利要求1所述的方法，其特征在于，所述深度學習框架包括PyTorch模型框架或TensorFlow模型框架。

5.根據權利要求4所述的方法，其特征在于，在所述獲取基于所述深度學習框架部署的深度學習模型對應的節點配置文件之前，還包括：

獲取基于PyTorch模型框架的深度學習模型對應的模型文件；

生成所述PyTorch模型框架的鏡像文件，所述鏡像文件包括PyTorch模型框架的運行環境和數據接口協議；

將所述鏡像文件和模型文件發送至多個節點，以使所述多個節點分別運行所述鏡像文件以創建容器，并將模型文件掛載到所述容器中，確定調用所述容器的端口；

獲取所述多個節點的IP地址和端口，并將所述多個節點的IP地址和端口寫入節點配置文件。

6.根據權利要求5所述的方法，其特征在于，還包括：

獲取所述深度學習模型對應的前處理程序和/或后處理程序；

將所述前處理程序和/或后處理程序寫入自定義接口文件；

將所述自定義接口文件發送至所述多個節點，以使所述多個節點將所述自定義接口文件掛載到所述容器中。

7.根據權利要求5所述的方法，其特征在于，還包括：

獲取所述深度學習模型對應的模型執行過程；

將所述模型執行過程寫入自定義接口文件；

將所述自定義接口文件發送至所述多個節點，以使所述多個節點將所述自定義接口文件掛載到所述容器中。

8.根據權利要求5所述的方法，其特征在于，所述根據所述推理節點的IP地址和端口將所述在線推理請求發送至所述推理節點，包括：

通過所述數據接口協議對所述在線推理請求進行解析，得到請求數據；

根據所述推理節點的IP地址和端口，將所述請求數據發送至所述推理節點；

在所述接收所述推理節點返回的推理結果之后，還包括：

通過所述數據接口協議對所述推理結果進行封裝，并將封裝后的推理結果返回至所述在線推理請求的請求方。

9.根據權利要求4所述的方法，其特征在于，在所述獲取基于所述深度學習框架部署的深度學習模型對應的節點配置文件之前，還包括：

獲取Tensorflow-Serving鏡像，并獲取基于TensorFlow模型框架的深度學習模型的模型文件；

將所述Tensorflow-Serving鏡像和模型文件發送至多個節點，由所述多個節點運行所述Tensorflow-Serving鏡像以創建容器，并將所述模型文件掛載到所述容器中，確定調用所述容器的端口；

獲取所述多個節點的IP地址和端口，并將所述多個節點的IP地址和端口寫入節點配置文件。