[發(fā)明專(zhuān)利]控制在線模型更新的方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201810969492.3
• 申請(qǐng)日: 2018-08-23
• 公開(kāi)（公告）號(hào): CN109102030B
• 公開(kāi)（公告）日: 2022-08-05
• 發(fā)明（設(shè)計(jì)）人: 蔣晨
• 申請(qǐng)（專(zhuān)利權(quán)）人: 創(chuàng)新先進(jìn)技術(shù)有限公司
• 主分類(lèi)號(hào): G06K9/62
• 分類(lèi)號(hào): G06K9/62;G06V10/778;G06V10/774;G06V10/776;G06Q10/04;G06Q40/08
• 代理公司: 北京億騰知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11309
• 代理人: 陳霽;周良玉

1.一種控制線上業(yè)務(wù)模型更新的方法，包括：

在線上運(yùn)行第一業(yè)務(wù)模型的過(guò)程中，控制系統(tǒng)從線上輸入樣本中采集第一數(shù)目的樣本，發(fā)送至人工標(biāo)注平臺(tái)，用以進(jìn)行人工標(biāo)注，所述線上輸入樣本用于輸入到線上運(yùn)行的第一業(yè)務(wù)模型；

控制系統(tǒng)從人工標(biāo)注平臺(tái)獲取人工標(biāo)注的所述第一數(shù)目的樣本，作為訓(xùn)練樣本，并將所述訓(xùn)練樣本轉(zhuǎn)化為所需格式數(shù)據(jù)；

控制系統(tǒng)將所需格式的訓(xùn)練樣本傳入到線下訓(xùn)練服務(wù)器，通過(guò)該線下訓(xùn)練服務(wù)器，至少基于所述訓(xùn)練樣本，離線訓(xùn)練所述第一業(yè)務(wù)模型，得到第二業(yè)務(wù)模型；

控制系統(tǒng)利用預(yù)定測(cè)試樣本集，離線測(cè)試所述第二業(yè)務(wù)模型；

控制系統(tǒng)在測(cè)試結(jié)果滿足預(yù)定條件的情況下，將第二業(yè)務(wù)模型的參數(shù)傳入在線系統(tǒng)，從而將線上運(yùn)行的所述第一業(yè)務(wù)模型更新為第二業(yè)務(wù)模型。

2.根據(jù)權(quán)利要求1所述的方法，還包括：評(píng)估所述線上運(yùn)行的第一業(yè)務(wù)模型的預(yù)測(cè)準(zhǔn)確度。

3.根據(jù)權(quán)利要求2所述的方法，其中評(píng)估所述線上運(yùn)行的第一業(yè)務(wù)模型的預(yù)測(cè)準(zhǔn)確度包括：

從所述線上輸入樣本中采集第二數(shù)目的樣本，用以進(jìn)行人工標(biāo)注；

獲取人工標(biāo)注的所述第二數(shù)目的樣本，作為第一測(cè)試樣本集；

利用所述第一測(cè)試樣本集，測(cè)試所述線上運(yùn)行的第一業(yè)務(wù)模型的預(yù)測(cè)準(zhǔn)確度。

4.根據(jù)權(quán)利要求3所述的方法，利用所述第一測(cè)試樣本集，測(cè)試所述線上運(yùn)行的第一業(yè)務(wù)模型的預(yù)測(cè)準(zhǔn)確度，包括：

獲取所述線上運(yùn)行的第一業(yè)務(wù)模型對(duì)所述第二數(shù)目的樣本的預(yù)測(cè)結(jié)果；

獲取所述第二數(shù)目的樣本的人工標(biāo)注標(biāo)簽；

通過(guò)比對(duì)所述預(yù)測(cè)結(jié)果和所述人工標(biāo)注標(biāo)簽，確定所述線上運(yùn)行的第一業(yè)務(wù)模型的預(yù)測(cè)準(zhǔn)確度。

5.根據(jù)權(quán)利要求3所述的方法，還包括，在將線上運(yùn)行的所述第一業(yè)務(wù)模型更新為第二業(yè)務(wù)模型之后，評(píng)估線上運(yùn)行的第二業(yè)務(wù)模型的預(yù)測(cè)準(zhǔn)確度。

6.根據(jù)權(quán)利要求5所述的方法，其中，評(píng)估線上運(yùn)行的第二業(yè)務(wù)模型的預(yù)測(cè)準(zhǔn)確度包括：

利用所述第一測(cè)試樣本集，測(cè)試所述線上運(yùn)行的第二業(yè)務(wù)模型的預(yù)測(cè)準(zhǔn)確度。

7.根據(jù)權(quán)利要求5所述的方法，其中，評(píng)估線上運(yùn)行的第二業(yè)務(wù)模型的預(yù)測(cè)準(zhǔn)確度包括：

從輸入到第二業(yè)務(wù)模型的線上輸入樣本中采集第三數(shù)目的樣本，用以進(jìn)行人工標(biāo)注；

獲取人工標(biāo)注的所述第三數(shù)目的樣本，作為第二測(cè)試樣本集；

利用所述第二測(cè)試樣本集，測(cè)試所述線上運(yùn)行的第二業(yè)務(wù)模型的預(yù)測(cè)準(zhǔn)確度。

8.根據(jù)權(quán)利要求1所述的方法，其中，至少基于所述訓(xùn)練樣本，離線訓(xùn)練所述第一業(yè)務(wù)模型包括：

將所述訓(xùn)練樣本添加到原訓(xùn)練樣本集中，得到更新的訓(xùn)練樣本集；

利用所述更新的訓(xùn)練樣本集，離線訓(xùn)練所述第一業(yè)務(wù)模型。

9.根據(jù)權(quán)利要求1所述的方法，其中，至少基于所述訓(xùn)練樣本，離線訓(xùn)練所述第一業(yè)務(wù)模型包括：

響應(yīng)于所述第一數(shù)目達(dá)到預(yù)設(shè)閾值，離線訓(xùn)練所述第一業(yè)務(wù)模型；或者，

每隔預(yù)定時(shí)間間隔，離線訓(xùn)練所述第一業(yè)務(wù)模型。

10.根據(jù)權(quán)利要求2所述的方法，其中，至少基于所述訓(xùn)練樣本，離線訓(xùn)練所述第一業(yè)務(wù)模型包括：

在所述第一業(yè)務(wù)模型的預(yù)測(cè)準(zhǔn)確度低于預(yù)設(shè)的第一準(zhǔn)確度閾值的情況下，離線訓(xùn)練所述第一業(yè)務(wù)模型。

11.根據(jù)權(quán)利要求1所述的方法，其中，所述預(yù)定測(cè)試樣本集包括多個(gè)測(cè)試子集；

所述離線測(cè)試所述第二業(yè)務(wù)模型包括，按照測(cè)試子集中樣本數(shù)目從少到多的順序，依次利用所述多個(gè)測(cè)試子集，測(cè)試所述第二業(yè)務(wù)模型的準(zhǔn)確度，得到多個(gè)測(cè)試準(zhǔn)確度。

12.根據(jù)權(quán)利要求11所述的方法，所述測(cè)試結(jié)果滿足預(yù)定條件包括，所述多個(gè)測(cè)試準(zhǔn)確度均高于預(yù)設(shè)的第二準(zhǔn)確度閾值。