[發(fā)明專利]一種可快捷上線部署的機(jī)器學(xué)習(xí)模型的文件格式及部署方法

有效

• 申請?zhí)枺?/td>: 202010064418.4
• 申請日: 2020-01-20
• 公開（公告）號: CN111273901B
• 公開（公告）日: 2022-09-09
• 發(fā)明（設(shè)計）人: 唐迪佳;李白;虞幫水
• 申請（專利權(quán)）人: 浙江邦盛科技股份有限公司
• 主分類號: G06F8/35
• 分類號: G06F8/35
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 劉靜

1.一種機(jī)器學(xué)習(xí)模型文件的部署方法，其特征在于，該方法包括以下步驟：

步驟1：根據(jù)原始數(shù)據(jù)抽取數(shù)據(jù)定義；具體為把原始數(shù)據(jù)的字段信息抽取出來用來代指該原始數(shù)據(jù)；使用初始數(shù)據(jù)的字段信息來抽象表示整個數(shù)據(jù)，并使用JSON格式字符信息描述，所述字段信息包括：字段名稱、類型和備注；數(shù)據(jù)定義過程中需要定義關(guān)聯(lián)主鍵，用來明確數(shù)據(jù)的關(guān)聯(lián)關(guān)系；

步驟2：根據(jù)特征工程完成特征定義；特征變量基于數(shù)據(jù)抽象定義基礎(chǔ)上，對數(shù)據(jù)按定義邏輯進(jìn)行計算得出特征，所述定義邏輯使用JSON格式字符信息進(jìn)行描述；

特征根據(jù)使用場景分為靜態(tài)特征與動態(tài)特征，

所述靜態(tài)特征為針對的場景不需要進(jìn)行特征計算，但初始數(shù)據(jù)仍需要保留到后續(xù)流程中計算或解釋說明的特征，該特征包括樣本標(biāo)簽值或特征說明描述字段；

所述動態(tài)特征為引用特征變量，對特征變量進(jìn)行二次特征計算得出新的特征結(jié)果，按照編程語言編寫的functions中的處理邏輯對特征變量或靜態(tài)特征進(jìn)行處理；

步驟3：根據(jù)步驟1的數(shù)據(jù)定義和步驟2的特征定義進(jìn)行特征計算；

根據(jù)特征定義將特征同時轉(zhuǎn)換成批式計算引擎可執(zhí)行的SQL腳本和流式處理引擎可以執(zhí)行的流式腳本，實(shí)現(xiàn)特征既可以在流式環(huán)境下運(yùn)行也可在批式環(huán)境運(yùn)行；

functions采用編程語言Java或Scala或Python編寫；

functions以及functions中使用到的第三方依賴資源包，根據(jù)批式計算引擎或流式處理引擎做相應(yīng)的適配，同步加載到計算環(huán)境中供計算引擎調(diào)用；

步驟4：根據(jù)步驟3的計算結(jié)果生成模型文件，具體為：將抽象后的特征工程輸入到模型中對機(jī)器學(xué)習(xí)模型進(jìn)行訓(xùn)練，生成模型文件；加載模型文件到應(yīng)用平臺上，完成模型部署；

步驟5：平臺進(jìn)行模型預(yù)測，得到模型預(yù)測結(jié)果。

2.如權(quán)利要求1所述的機(jī)器學(xué)習(xí)模型文件的部署方法，其特征在于，所述的數(shù)據(jù)定義中的初始數(shù)據(jù)是數(shù)據(jù)挖掘人員從數(shù)據(jù)采集人員手中得到并經(jīng)過異常值處理、缺失值填充等處理之后的數(shù)據(jù)，進(jìn)行數(shù)據(jù)挖掘時對數(shù)據(jù)的所有操作均基于初始數(shù)據(jù)。

3.如權(quán)利要求1所述的機(jī)器學(xué)習(xí)模型文件的部署方法，其特征在于，特征定義的數(shù)據(jù)結(jié)構(gòu)隨著機(jī)器學(xué)習(xí)模型同時生成，即特征工程隨著模型同步到生產(chǎn)環(huán)境，根據(jù)特征定義分析進(jìn)行快速智能的特征匹配。