[發明專利]推理服務的配置方法、裝置、電子設備及存儲介質

在審

• 申請號: 202011061260.1
• 申請日: 2020-09-30
• 公開（公告）號: CN112015521A
• 公開（公告）日: 2020-12-01
• 發明（設計）人: 胡在斌;李盼盼;張恒華;黃凱文;駱寶童;李振國
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F9/455
• 分類號: G06F9/455;H04L12/24
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 鈄颯颯;臧建明

本申請公開了推理服務的配置方法、裝置、電子設備及存儲介質，涉及云計算領域，具體實現方案為：通過根據包括有地域需求以及資源需求的推理服務的配置請求，在云平臺中對推理服務的物理節點進行配置，使得推理服務的運算資源可在云平臺的物理節點中進行運行，從而實現了將推理服務部署在云平臺中。與現有的兩種服務配置方式相比，采用基于云平臺的推理服務的配置方式一方面能夠使得預設的云平臺的GPU資源得到有效的利用，另一方面，依賴于推理服務在云平臺的配置和發布，其適用范圍大大得到拓展。

技術領域

本申請涉及計算機技術中的云計算，尤其涉及一種推理服務的配置方法、裝置、電子設備及存儲介質。

背景技術

對推理服務進行服務配置是將算法模型應用到實際業務的最后環節。隨著AI技術的發展，越來越多的用戶需要配置符合自身業務需求的推理服務，以為實現自業務功能提供有效支持。

在現有技術中，對推理服務進行服務配置一般通過如下兩種方式：

其一，通過物理機對推理服務進行配置，在該方式下，通過將推理服務的程序安裝包安裝在單獨的物理機上，以使物理機可執行基于推理服務的業務功能；但是，為推理服務單獨配置物理機以支撐其服務運行的方式，會使得物理機中的大量GPU資源被浪費，其資源利用率較低。

其二，通過虛擬機對推理服務進行配置，在該方式下，通過將標準的安裝包程序部署在虛擬機平臺上，以使虛擬機可執行基于推理服務的業務功能；但是，由于虛擬機是一種私有化的部署方式，部署在虛擬機上的推理服務僅能在虛擬機平臺內部進行使用，其適用范圍受到限制。

基于上述情況，如何提供一種更為有效的推理服務的配置方式成為研究重點。

發明內容

本申請提供了一種推理服務的配置方法、裝置、電子設備及存儲介質。

根據本申請的一方面，提供了一種推理服務的配置方法，包括：

調用云平臺的接口層獲取推理服務的配置請求，所述配置請求包括地域需求以及資源需求；

根據所述地域需求和所述資源需求，調用云平臺的資源配置層在云平臺中為所述推理服務分配可用于運行推理服務的物理節點；

在所述物理節點中運行所述推理服務的運算資源。

根據本申請的另一方面，提供了一種推理服務的配置的裝置，包括：

第一請求調用單元，用于調用云平臺的接口層獲取推理服務的配置請求，所述配置請求包括地域需求以及資源需求；

配置調用單元，用于根據所述地域需求和所述資源需求，調用云平臺的資源配置層在云平臺中為所述推理服務分配可用于運行推理服務的物理節點；

運行單元，用于在所述物理節點中運行所述推理服務的運算資源。

根據本申請的再一方面，提供了一種電子設備，包括：

至少一個處理器；以及

與所述至少一個處理器通信連接的存儲器；其中，

所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠執行前述任一項所述的方法。

根據本申請的最后一方面，提供了一種推理服務的配置的裝置，包括：存儲有計算機指令的非瞬時計算機可讀存儲介質，所述計算機指令用于使所述計算機執行前述任一項所述的方法。