[發(fā)明專利]模型構(gòu)建方法、裝置、存儲介質(zhì)及設(shè)備

在審

• 申請?zhí)枺?/td>: 201910904555.1
• 申請日: 2019-09-24
• 公開（公告）號: CN112632179A
• 公開（公告）日: 2021-04-09
• 發(fā)明（設(shè)計）人: 韓旭紅
• 申請（專利權(quán)）人: 北京國雙科技有限公司
• 主分類號: G06F16/26
• 分類號: G06F16/26;G06F16/215;G06F16/21
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 任美玲

1.一種模型構(gòu)建方法，其特征在于，包括：

獲取線上數(shù)據(jù)；

對所述線上數(shù)據(jù)進(jìn)行眾包標(biāo)注，得到標(biāo)注結(jié)果；所述標(biāo)注結(jié)果包括：標(biāo)注好的訓(xùn)練數(shù)據(jù)與標(biāo)注情況信息；

獲取所述標(biāo)注結(jié)果的標(biāo)注質(zhì)量；

根據(jù)當(dāng)前任務(wù)類型與所述標(biāo)注結(jié)果的標(biāo)注質(zhì)量，選擇相應(yīng)的機器學(xué)習(xí)模型與相應(yīng)的模型訓(xùn)練參數(shù)；

利用所述標(biāo)注好的訓(xùn)練數(shù)據(jù)，按照所述相應(yīng)的模型訓(xùn)練參數(shù)，對所述相應(yīng)的機器學(xué)習(xí)模型進(jìn)行訓(xùn)練，得到訓(xùn)練好的預(yù)測模型。

2.如權(quán)利要求1所述的方法，其特征在于，所述獲取所述標(biāo)注結(jié)果的標(biāo)注質(zhì)量包括：

根據(jù)所述標(biāo)注結(jié)果，獲取各個標(biāo)注人員的個人標(biāo)注準(zhǔn)確率與所有標(biāo)注人員的整體標(biāo)注準(zhǔn)確率；

當(dāng)有標(biāo)注人員的個人標(biāo)注準(zhǔn)確率，低于所述整體標(biāo)注準(zhǔn)確率且與所述整體標(biāo)注準(zhǔn)確率的偏差大于預(yù)設(shè)偏差閾值時，獲取個人標(biāo)注準(zhǔn)確率低于第一準(zhǔn)確率閾值的部分標(biāo)注人員的人數(shù)；

根據(jù)所述部分標(biāo)注人員的人數(shù)，確定所述標(biāo)注結(jié)果的標(biāo)注質(zhì)量。

3.如權(quán)利要求1或2所述的方法，其特征在于，在所述獲取所述標(biāo)注結(jié)果的標(biāo)注質(zhì)量之后，所述方法還包括：

根據(jù)所述標(biāo)注結(jié)果的標(biāo)注質(zhì)量，對標(biāo)注選取人數(shù)與一致回收人數(shù)的比例進(jìn)行調(diào)整。

4.如權(quán)利要求1或2所述的方法，其特征在于，所述根據(jù)當(dāng)前任務(wù)類型與所述標(biāo)注結(jié)果的標(biāo)注質(zhì)量，選擇相應(yīng)的機器學(xué)習(xí)模型與相應(yīng)的模型訓(xùn)練參數(shù)包括：

根據(jù)所述標(biāo)注結(jié)果的標(biāo)注質(zhì)量，確定所述線上數(shù)據(jù)的標(biāo)注難度；

根據(jù)當(dāng)前任務(wù)類型與所述線上數(shù)據(jù)的標(biāo)注難度，選擇相應(yīng)的機器學(xué)習(xí)模型與相應(yīng)的模型訓(xùn)練參數(shù)。

5.如權(quán)利要求1所述的方法，其特征在于，在所述利用所述標(biāo)注好的訓(xùn)練數(shù)據(jù)，按照所述相應(yīng)的模型訓(xùn)練參數(shù)，對所述相應(yīng)的機器學(xué)習(xí)模型進(jìn)行訓(xùn)練，得到訓(xùn)練好的預(yù)測模型之后，所述方法還包括：

獲取新線上數(shù)據(jù)；

對所述新線上數(shù)據(jù)進(jìn)行眾包標(biāo)注，得到新標(biāo)注結(jié)果；

利用所述訓(xùn)練好的預(yù)測模型對所述新線上數(shù)據(jù)進(jìn)行預(yù)測，得到預(yù)測結(jié)果；

根據(jù)所述新標(biāo)注結(jié)果與所述預(yù)測結(jié)果，確定所述訓(xùn)練好的預(yù)測模型是否符合預(yù)期效果。

6.如權(quán)利要求5所述的方法，其特征在于，在確定所述訓(xùn)練好的預(yù)測模型符合預(yù)期效果之后，所述方法還包括：

根據(jù)所述新標(biāo)注結(jié)果與所述預(yù)測結(jié)果，獲取所述新上線數(shù)據(jù)的熵值分布信息；

根據(jù)所述新上線數(shù)據(jù)的熵值分布信息，設(shè)定預(yù)測結(jié)果報警條件；

對所述預(yù)測模型的后續(xù)預(yù)測結(jié)果進(jìn)行監(jiān)控；

當(dāng)所述預(yù)測模型的后續(xù)預(yù)測結(jié)果滿足所述預(yù)測結(jié)果報警條件時，選取主動學(xué)習(xí)數(shù)據(jù)對所述預(yù)測模型進(jìn)行增量訓(xùn)練，得到優(yōu)化后的預(yù)測模型。

7.如權(quán)利要求6所述的方法，其特征在于，所述對所述預(yù)測模型的后期預(yù)測結(jié)果進(jìn)行監(jiān)控包括：

按照預(yù)設(shè)時間間隔，獲取所述預(yù)測模型的后續(xù)預(yù)測結(jié)果；

根據(jù)所述后續(xù)預(yù)測結(jié)果，獲取所述后續(xù)預(yù)測結(jié)果的熵值信息；

監(jiān)控所述后續(xù)預(yù)測結(jié)果的熵值信息，是否達(dá)到預(yù)設(shè)熵值報警條件。

8.一種模型構(gòu)建裝置，其特征在于，包括：

眾包處理單元，用于獲取線上數(shù)據(jù)；對所述線上數(shù)據(jù)進(jìn)行眾包標(biāo)注，得到標(biāo)注結(jié)果；所述標(biāo)注結(jié)果包括：標(biāo)注好的訓(xùn)練數(shù)據(jù)與標(biāo)注情況信息；獲取所述標(biāo)注結(jié)果的標(biāo)注質(zhì)量；

算法處理單元，用于根據(jù)當(dāng)前任務(wù)類型與所述標(biāo)注結(jié)果的標(biāo)注質(zhì)量，選擇相應(yīng)的機器學(xué)習(xí)模型與相應(yīng)的模型訓(xùn)練參數(shù)；利用所述標(biāo)注好的訓(xùn)練數(shù)據(jù)，按照所述相應(yīng)的模型訓(xùn)練參數(shù)，對所述相應(yīng)的機器學(xué)習(xí)模型進(jìn)行訓(xùn)練，得到訓(xùn)練好的預(yù)測模型。

9.一種存儲介質(zhì)，其特征在于，所述存儲介質(zhì)包括存儲的程序，其中，在所述程序運行時控制所述存儲介質(zhì)所在設(shè)備執(zhí)行如權(quán)利要求1-7中任一項所述的模型構(gòu)建方法。

10.一種模型構(gòu)建設(shè)備，其特征在于，包括至少一個處理器、以及與處理器連接的至少一個存儲器、總線；其中，處理器、存儲器通過總線完成相互間的通信；處理器用于調(diào)用存儲器中的程序指令，以執(zhí)行如權(quán)利要求1-7中任一項所述的模型構(gòu)建方法。