[發(fā)明專(zhuān)利]一種基于模型進(jìn)行預(yù)測(cè)的方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201811522364.0
• 申請(qǐng)日: 2018-12-13
• 公開(kāi)（公告）號(hào): CN110033091B
• 公開(kāi)（公告）日: 2020-09-01
• 發(fā)明（設(shè)計(jì)）人: 劉永超;李思仲;潘國(guó)振;徐建國(guó);黃啟印
• 申請(qǐng)（專(zhuān)利權(quán)）人: 阿里巴巴集團(tuán)控股有限公司
• 主分類(lèi)號(hào): G06N20/00
• 分類(lèi)號(hào): G06N20/00
• 代理公司: 北京博思佳知識(shí)產(chǎn)權(quán)代理有限公司 11415
• 代理人: 林祥

本說(shuō)明書(shū)實(shí)施例提供一種基于模型進(jìn)行預(yù)測(cè)的方法和裝置，其中，所述方法包括：模型運(yùn)行環(huán)境接收所述機(jī)器學(xué)習(xí)模型的輸入張量；模型運(yùn)行環(huán)境向嵌入運(yùn)行環(huán)境發(fā)送查表請(qǐng)求，所述查表請(qǐng)求中攜帶所述輸入張量，以請(qǐng)求對(duì)所述輸入張量進(jìn)行低維轉(zhuǎn)換；模型運(yùn)行環(huán)境接收嵌入運(yùn)行環(huán)境返回的查表結(jié)果，所述查表結(jié)果由所述嵌入運(yùn)行環(huán)境根據(jù)所述輸入張量進(jìn)行嵌入查詢(xún)和處理得到；模型運(yùn)行環(huán)境將所述查表結(jié)果輸入機(jī)器學(xué)習(xí)模型，并運(yùn)行所述機(jī)器學(xué)習(xí)模型完成基于模型進(jìn)行預(yù)測(cè)。

技術(shù)領(lǐng)域

本公開(kāi)涉及機(jī)器學(xué)習(xí)技術(shù)領(lǐng)域，特別涉及一種基于模型進(jìn)行預(yù)測(cè)的方法和裝置。

背景技術(shù)

在人工智能中，特征工程是一個(gè)非常重要的環(huán)節(jié)。特征工程是將機(jī)器學(xué)習(xí)模型的輸入數(shù)據(jù)轉(zhuǎn)換為特征向量的過(guò)程，是機(jī)器學(xué)習(xí)中重要的起始步驟。而嵌入(embedding)是特征工程中的一種數(shù)據(jù)轉(zhuǎn)換方法，機(jī)器學(xué)習(xí)的輸入數(shù)據(jù)可能是一個(gè)高維張量，可以通過(guò)嵌入層將高維張量映射到低維的連續(xù)空間，達(dá)到特征提取的目的。通過(guò)將高維空間映射到嵌入這種低維空間，使得在大型輸入(典型的是高維度稀疏張量)上的機(jī)器學(xué)習(xí)變得更加容易。

但是，嵌入層的參數(shù)量通常非常大，在某些業(yè)務(wù)場(chǎng)景中，所有嵌入層參數(shù)的內(nèi)存總量可以達(dá)到千億級(jí)別(比如100GB～1TB內(nèi)存)。這種情況對(duì)實(shí)時(shí)在線(xiàn)模型的部署和預(yù)測(cè)構(gòu)成很大的挑戰(zhàn)：?jiǎn)闻_(tái)機(jī)器不能提供足夠的共享內(nèi)存去存儲(chǔ)整個(gè)模型，因此需要購(gòu)買(mǎi)定制的機(jī)器提供服務(wù)，增加了設(shè)備購(gòu)置、運(yùn)行和維護(hù)的成本；并且，單臺(tái)機(jī)器的容量被較大的嵌入層占用，也使得模型運(yùn)行不能充分發(fā)揮底層硬件資源的計(jì)算能力，造成資源浪費(fèi)。

發(fā)明內(nèi)容

有鑒于此，本說(shuō)明書(shū)一個(gè)或多個(gè)實(shí)施例提供一種基于模型進(jìn)行預(yù)測(cè)的方法和裝置，以降低模型運(yùn)行成本，且更好的發(fā)揮資源能力。

具體地，本說(shuō)明書(shū)一個(gè)或多個(gè)實(shí)施例是通過(guò)如下技術(shù)方案實(shí)現(xiàn)的：

第一方面，提供一種基于模型進(jìn)行預(yù)測(cè)的方法，所述方法由機(jī)器學(xué)習(xí)模型系統(tǒng)執(zhí)行，所述系統(tǒng)包括：機(jī)器學(xué)習(xí)模型、以及用于對(duì)機(jī)器學(xué)習(xí)模型的輸入張量進(jìn)行轉(zhuǎn)換的嵌入模型；所述嵌入模型和機(jī)器學(xué)習(xí)模型分開(kāi)部署，嵌入模型部署在嵌入運(yùn)行環(huán)境，所述機(jī)器學(xué)習(xí)模型部署在模型運(yùn)行環(huán)境中；所述方法包括：

所述模型運(yùn)行環(huán)境接收所述機(jī)器學(xué)習(xí)模型的輸入張量；

所述模型運(yùn)行環(huán)境向嵌入運(yùn)行環(huán)境發(fā)送查表請(qǐng)求，所述查表請(qǐng)求中攜帶所述輸入張量，以請(qǐng)求對(duì)所述輸入張量進(jìn)行低維轉(zhuǎn)換；

所述模型運(yùn)行環(huán)境接收嵌入運(yùn)行環(huán)境返回的查表結(jié)果，所述查表結(jié)果由所述嵌入運(yùn)行環(huán)境根據(jù)所述輸入張量進(jìn)行嵌入查詢(xún)和處理得到；

所述模型運(yùn)行環(huán)境將所述查表結(jié)果輸入機(jī)器學(xué)習(xí)模型，并運(yùn)行所述機(jī)器學(xué)習(xí)模型完成基于模型進(jìn)行預(yù)測(cè)。

第二方面，提供一種機(jī)器學(xué)習(xí)模型系統(tǒng)，所述系統(tǒng)包括：嵌入運(yùn)行環(huán)境和模型運(yùn)行環(huán)境，所述嵌入運(yùn)行環(huán)境中部署嵌入模型，所述模型運(yùn)行環(huán)境中部署機(jī)器學(xué)習(xí)模型；

所述模型運(yùn)行環(huán)境，用于接收所述機(jī)器學(xué)習(xí)模型的輸入張量；并用于向嵌入運(yùn)行環(huán)境發(fā)送查表請(qǐng)求，所述查表請(qǐng)求中攜帶所述輸入張量，以請(qǐng)求對(duì)所述輸入張量進(jìn)行低維轉(zhuǎn)換；還用于將所述查表結(jié)果輸入機(jī)器學(xué)習(xí)模型，并運(yùn)行所述機(jī)器學(xué)習(xí)模型完成基于模型進(jìn)行預(yù)測(cè)；

所述嵌入運(yùn)行環(huán)境，用于根據(jù)查表請(qǐng)求，對(duì)所述輸入張量進(jìn)行嵌入查詢(xún)和處理得到查表結(jié)果，并將所述查表結(jié)果反饋給所述模型運(yùn)行環(huán)境。

第三方面，提供一種基于模型進(jìn)行預(yù)測(cè)的設(shè)備，所述設(shè)備包括存儲(chǔ)器、處理器，以及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)指令，所述處理器執(zhí)行指令時(shí)以實(shí)現(xiàn)嵌入運(yùn)行環(huán)境和模型運(yùn)行環(huán)境，所述嵌入運(yùn)行環(huán)境用于運(yùn)行嵌入模型，所述模型運(yùn)行環(huán)境用于運(yùn)行機(jī)器學(xué)習(xí)模型；所述處理器執(zhí)行指令用于實(shí)現(xiàn)以下步驟：

所述模型運(yùn)行環(huán)境接收所述機(jī)器學(xué)習(xí)模型的輸入張量；