[發(fā)明專(zhuān)利]一種基于Tensorflow Serving的模型部署方法及設(shè)備、介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011064140.7
• 申請(qǐng)日: 2020-09-30
• 公開(kāi)（公告）號(hào): CN112286535A
• 公開(kāi)（公告）日: 2021-01-29
• 發(fā)明（設(shè)計(jì)）人: 尹青山;李銳;王建華
• 申請(qǐng)（專(zhuān)利權(quán)）人: 濟(jì)南浪潮高新科技投資發(fā)展有限公司
• 主分類(lèi)號(hào): G06F8/60
• 分類(lèi)號(hào): G06F8/60;G06F8/656;G06N20/00;G06K9/00;G06K9/62
• 代理公司: 北京君慧知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11716
• 代理人: 董延麗

1.一種基于Tensorflow Serving的模型部署方法，其特征在于，包括：

通過(guò)Tensorflow訓(xùn)練初始模型，并導(dǎo)出所述初始模型；

將所述初始模型部署到Tensorflow Serving，并進(jìn)行復(fù)制；

根據(jù)所述初始模型復(fù)制的各路徑中的模型信息，將目標(biāo)模型部署到相應(yīng)的路徑中。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，將所述初始模型部署到TensorflowServing之前，所述方法還包括：

確定TensorFlow Serving中的模型目錄可部署的格式；

將所述初始模型的格式轉(zhuǎn)換為所述模型目錄可部署的格式。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述進(jìn)行復(fù)制，包括：

將所述初始模型按照預(yù)設(shè)條件進(jìn)行復(fù)制，所述預(yù)設(shè)條件包括復(fù)制次數(shù)。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

接收客戶(hù)端的模型調(diào)用請(qǐng)求；

根據(jù)所述模型調(diào)用請(qǐng)求，從所述初始模型復(fù)制的各路徑中，調(diào)用相應(yīng)的模型；

通過(guò)調(diào)用的模型對(duì)所述模型調(diào)用請(qǐng)求進(jìn)行處理，并將處理結(jié)果返回至客戶(hù)端。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述調(diào)用請(qǐng)求包括模型標(biāo)識(shí)、版本標(biāo)識(shí)；

根據(jù)所述模型調(diào)用請(qǐng)求，從所述初始模型復(fù)制的各路徑中，調(diào)用相應(yīng)的模型，包括：

根據(jù)所述模型調(diào)用請(qǐng)求中的模型標(biāo)識(shí)，確定所述初始模型復(fù)制的各路徑中，與所述模型標(biāo)識(shí)匹配的路徑；

根據(jù)所述模型調(diào)用請(qǐng)求中的版本標(biāo)識(shí)，從所述匹配的路徑中，調(diào)用與所述版本標(biāo)識(shí)匹配的模型。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述方法還包括：

所述模型調(diào)用請(qǐng)求中的版本標(biāo)識(shí)為空時(shí)，從所述匹配的路徑中，調(diào)用最新版本的模型。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

按照預(yù)設(shè)時(shí)間間隔，定期對(duì)所述初始模型進(jìn)行復(fù)制。

8.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述初始模型的大小不大于4k。

9.一種基于Tensorflow Serving的模型部署設(shè)備，其特征在于，包括：

至少一個(gè)處理器；以及，與所述至少一個(gè)處理器通信連接的存儲(chǔ)器；其中，所述存儲(chǔ)器存儲(chǔ)有可被所述至少一個(gè)處理器執(zhí)行的指令，所述指令被所述至少一個(gè)處理器執(zhí)行，以使所述至少一個(gè)處理器能夠：

通過(guò)Tensorflow訓(xùn)練初始模型，并導(dǎo)出所述初始模型；

將所述初始模型部署到Tensorflow Serving，并進(jìn)行復(fù)制；

根據(jù)所述初始模型復(fù)制的各路徑中的模型信息，將目標(biāo)模型部署到相應(yīng)的路徑中。

10.一種基于Tensorflow Serving的模型部署的非易失性計(jì)算機(jī)存儲(chǔ)介質(zhì)，存儲(chǔ)有計(jì)算機(jī)可執(zhí)行指令，其特征在于，所述計(jì)算機(jī)可執(zhí)行指令設(shè)置為：

通過(guò)Tensorflow訓(xùn)練初始模型，并導(dǎo)出所述初始模型；

將所述初始模型部署到Tensorflow Serving，并進(jìn)行復(fù)制；

根據(jù)所述初始模型復(fù)制的各路徑中的模型信息，將目標(biāo)模型部署到相應(yīng)的路徑中。