[發明專利]推理服務的配置方法、裝置、電子設備及存儲介質

在審

• 申請號: 202011061260.1
• 申請日: 2020-09-30
• 公開（公告）號: CN112015521A
• 公開（公告）日: 2020-12-01
• 發明（設計）人: 胡在斌;李盼盼;張恒華;黃凱文;駱寶童;李振國
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F9/455
• 分類號: G06F9/455;H04L12/24
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 鈄颯颯;臧建明

1.一種推理服務的配置方法，包括：

調用云平臺的接口層獲取推理服務的配置請求，所述配置請求包括地域需求以及資源需求；

根據所述地域需求和所述資源需求，調用云平臺的資源配置層在云平臺中為所述推理服務分配可用于運行推理服務的物理節點；

在所述物理節點中運行所述推理服務的運算資源。

2.根據權利要求1所述的方法，所述根據所述地域需求和所述資源需求，調用云平臺的資源配置層在云平臺中為所述推理服務分配可用于運行推理服務的物理節點，包括：

根據所述地域需求，調用所述接口層在滿足所述地域需求的若干候選物理節點中，選中至少一個物理節點以作為用于運行推理服務的物理節點；

根據所述資源需求調用所述資源配置層為所述至少一個物理節點分配相應的運算資源。

3.根據權利要求2所述的方法，所述調用所述接口層在滿足所述地域需求的若干候選物理節點中，選中至少一個物理節點以作為用于運行推理服務的物理節點，包括：

根據每個候選物理節點的節點利用率，調用所述接口層從各候選物理節點中選中至少一個物理節點以作為用于運行推理服務的物理節點。

4.根據權利要求2所述的方法，所述根據所述資源需求調用云平臺的資源配置層為所述至少一個物理節點分配相應的運算資源，包括：

調用所述接口層根據所述資源需求，創建每個物理節點對應的資源配置任務，并將各資源配置任務存儲至任務列表；其中，所述資源配置任務包括有每個物理節點相應的資源配置信息；

調用云平臺的任務執行層從所述任務列表中選中當前待處理的配置任務，并調用所述資源配置層根據所述資源配置信息為所述當前待處理的配置任務中的物理節點分配運算資源。

5.根據權利要求4所述的方法，所述資源配置信息包括實例數量；

相應的，所述調用所述資源配置層根據所述資源配置信息為所述當前待處理的配置任務中的物理節點分配運算資源，包括：

根據所述資源配置信息中的實例數量，調用所述資源配置層在所述當前待處理的配置任務中的物理節點上創建與所述實例數量相一致的服務實例。

6.根據權利要求4所述的方法，所述資源配置信息包括GPU算力配置；

相應的，所述調用所述資源配置層根據所述資源配置信息為所述當前待處理的配置任務中的物理節點分配運算資源，包括：

調用所述資源配置層對當前待處理的配置任務中的物理節點的GPU資源進行拆分，獲得多個GPU細粒度資源；以及，

確定各GPU細粒度資源的實時算力，并根據所述資源配置信息中的GPU算力配置，從各GPU細粒度資源中選出符合所述GPU算力配置的GPU細粒度資源；以及，

將選出的GPU細粒度資源的運算資源分配至當前待處理的配置任務中的物理節點。

7.根據權利要求1-6任一項所述的方法，還包括：

調用所述接口層獲取用戶對待訪問的推理服務的訪問請求；

對所述訪問請求中的訪問路由進行路由解析，確定運行所述待訪問的推理服務的運算資源的待訪問的物理節點，并將所述待訪問的物理節點的節點標識反饋至用戶。

8.根據權利要求1-6任一項所述的方法，還包括：

調用所述接口層獲取推理服務的實例管理請求；

根據實例管理請求的請求內容，調用所述資源配置層在預設的鏡像庫中確定相應的鏡像；其中，所述鏡像是通過模型文件和推理邏輯預先生成并存儲在鏡像庫中的；

運行所述鏡像以對服務實例進行管理。

9.根據權利要求1-6任一項所述的方法，還包括：

調用所述接口層獲取推理服務的升級請求；

確定推理服務的實例升級比例，并調用所述資源配置層根據所述實例升級比例采用灰度升級的方式，對所述服務推理進行升級。