[發(fā)明專(zhuān)利]基于大數(shù)據(jù)挖掘的模型部署方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011386029.X
• 申請(qǐng)日: 2020-12-02
• 公開(kāi)（公告）號(hào): CN112445845A
• 公開(kāi)（公告）日: 2021-03-05
• 發(fā)明（設(shè)計(jì)）人: 黃麗媛
• 申請(qǐng)（專(zhuān)利權(quán)）人: 平安科技（深圳）有限公司
• 主分類(lèi)號(hào): G06F16/2458
• 分類(lèi)號(hào): G06F16/2458;G06F16/23;G06F16/22
• 代理公司: 北京市京大律師事務(wù)所 11321
• 代理人: 姚維

1.一種基于大數(shù)據(jù)挖掘的模型部署方法，應(yīng)用于大數(shù)據(jù)挖掘平臺(tái)，其特征在于，所述大數(shù)據(jù)挖掘平臺(tái)由上至下依次包括：業(yè)務(wù)層、功能層、平臺(tái)層和基礎(chǔ)層，所述基于大數(shù)據(jù)挖掘的模型部署方法包括：

每隔預(yù)設(shè)周期，通過(guò)所述平臺(tái)層從各機(jī)構(gòu)數(shù)據(jù)庫(kù)中爬取業(yè)務(wù)數(shù)據(jù)，并將所述業(yè)務(wù)數(shù)據(jù)更新至所述基礎(chǔ)層中；

獲取所述業(yè)務(wù)層收到的數(shù)據(jù)挖掘請(qǐng)求，并對(duì)所述數(shù)據(jù)挖掘請(qǐng)求進(jìn)行語(yǔ)義分析，確定所述數(shù)據(jù)挖掘請(qǐng)求對(duì)應(yīng)的挖掘內(nèi)容；

獲取所述平臺(tái)層的預(yù)置算法庫(kù)中與所述挖掘內(nèi)容匹配的模型訓(xùn)練算法，并從所述基礎(chǔ)層中選取與所述挖掘內(nèi)容對(duì)應(yīng)的業(yè)務(wù)數(shù)據(jù)；

以選取的業(yè)務(wù)數(shù)據(jù)為訓(xùn)練樣本，采用所述模型訓(xùn)練算法進(jìn)行訓(xùn)練，生成對(duì)應(yīng)業(yè)務(wù)模型并部署到所述功能層以及對(duì)外提供訪(fǎng)問(wèn)所述業(yè)務(wù)模型的接口。

2.根據(jù)權(quán)利要求1所述的基于大數(shù)據(jù)挖掘的模型部署方法，其特征在于，所述平臺(tái)層中包含數(shù)據(jù)收集引擎，所述通過(guò)所述平臺(tái)層從各機(jī)構(gòu)數(shù)據(jù)庫(kù)中爬取業(yè)務(wù)數(shù)據(jù)，并將所述業(yè)務(wù)數(shù)據(jù)更新至所述基礎(chǔ)層中包括：

通過(guò)所述數(shù)據(jù)收集引擎從多個(gè)機(jī)構(gòu)數(shù)據(jù)庫(kù)中爬取業(yè)務(wù)數(shù)據(jù)，并對(duì)所述業(yè)務(wù)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理；

將標(biāo)準(zhǔn)化處理后的業(yè)務(wù)數(shù)據(jù)轉(zhuǎn)換為預(yù)置的語(yǔ)義格式，并基于所述語(yǔ)義格式，確定所述轉(zhuǎn)換后的業(yè)務(wù)數(shù)據(jù)的語(yǔ)義特征；

獲取所述基礎(chǔ)層中數(shù)據(jù)存儲(chǔ)模型的文檔語(yǔ)義框架，并根據(jù)所述文檔語(yǔ)義框架，關(guān)聯(lián)對(duì)應(yīng)的語(yǔ)義特征；

基于關(guān)聯(lián)后的文檔語(yǔ)義框架與語(yǔ)義特征，將所述轉(zhuǎn)換后的業(yè)務(wù)數(shù)據(jù)存儲(chǔ)至所述數(shù)據(jù)存儲(chǔ)模型中。

3.根據(jù)權(quán)利要求1所述的基于大數(shù)據(jù)挖掘的模型部署方法，其特征在于，所述對(duì)所述數(shù)據(jù)挖掘請(qǐng)求進(jìn)行語(yǔ)義分析，確定所述數(shù)據(jù)挖掘請(qǐng)求對(duì)應(yīng)的挖掘內(nèi)容包括：

解析所述數(shù)據(jù)挖掘請(qǐng)求，得到對(duì)應(yīng)的數(shù)據(jù)挖掘信息，并對(duì)所述數(shù)據(jù)挖掘信息進(jìn)行分詞處理，得到多個(gè)挖掘要點(diǎn)分詞；

將所述各挖掘要點(diǎn)分詞輸入預(yù)置語(yǔ)義分析模型中進(jìn)行語(yǔ)義分析，得到多個(gè)數(shù)據(jù)挖掘標(biāo)簽；

基于所述數(shù)據(jù)挖掘標(biāo)簽，確定所述數(shù)據(jù)挖掘請(qǐng)求對(duì)應(yīng)的挖掘內(nèi)容。

4.根據(jù)權(quán)利要求3所述的基于大數(shù)據(jù)挖掘的模型部署方法，其特征在于，所述平臺(tái)層中還包含算法搜索引擎，所述獲取所述平臺(tái)層的預(yù)置算法庫(kù)中與所述挖掘內(nèi)容匹配的模型訓(xùn)練算法包括：

基于所述數(shù)據(jù)挖掘標(biāo)簽，確定所述數(shù)據(jù)挖掘內(nèi)容對(duì)應(yīng)的數(shù)據(jù)挖掘?qū)傩裕⒒谒鰯?shù)據(jù)挖掘?qū)傩裕_定對(duì)應(yīng)的多層算法標(biāo)簽；

基于所述多層算法標(biāo)簽，通過(guò)所述算法搜索引擎，獲取預(yù)置算法庫(kù)中與所述挖掘內(nèi)容匹配的模型訓(xùn)練算法。

5.根據(jù)權(quán)利要求3所述的基于大數(shù)據(jù)挖掘的模型部署方法，其特征在于，所述平臺(tái)層中還包含數(shù)據(jù)檢索引擎，所述從所述基礎(chǔ)層中選取與所述挖掘內(nèi)容對(duì)應(yīng)的業(yè)務(wù)數(shù)據(jù)包括：

基于所述數(shù)據(jù)挖掘標(biāo)簽，確定所述數(shù)據(jù)挖掘內(nèi)容對(duì)應(yīng)的數(shù)據(jù)挖掘索引值；

根據(jù)所述數(shù)據(jù)挖掘索引值，通過(guò)所述數(shù)據(jù)檢索引擎，確定與所述挖掘內(nèi)容對(duì)應(yīng)的業(yè)務(wù)數(shù)據(jù)的存儲(chǔ)位置并進(jìn)行獲取。

6.根據(jù)權(quán)利要求1-5中任一項(xiàng)所述的基于大數(shù)據(jù)挖掘的模型部署方法，其特征在于，所述以選取的業(yè)務(wù)數(shù)據(jù)為訓(xùn)練樣本，采用所述模型訓(xùn)練算法進(jìn)行訓(xùn)練，生成對(duì)應(yīng)業(yè)務(wù)模型包括：

通過(guò)所述平臺(tái)層將選取的業(yè)務(wù)數(shù)據(jù)作為訓(xùn)練樣本，并對(duì)所述訓(xùn)練樣本進(jìn)行標(biāo)注，得到對(duì)應(yīng)的標(biāo)注文件；

根據(jù)所述模型訓(xùn)練算法，生成業(yè)務(wù)訓(xùn)練模型，并將所述訓(xùn)練樣本和所述標(biāo)注文件輸入所述業(yè)務(wù)訓(xùn)練模型中，輸出挖掘結(jié)果；

基于所述挖掘結(jié)果，計(jì)算所述業(yè)務(wù)訓(xùn)練模型的損失值，并基于所述損失值對(duì)所述業(yè)務(wù)訓(xùn)練模型進(jìn)行訓(xùn)練，直到所述損失值小于預(yù)置損失值時(shí)停止訓(xùn)練，輸出對(duì)應(yīng)的業(yè)務(wù)模型。