[發(fā)明專利]控制在線模型更新的方法及裝置

有效

• 申請?zhí)枺?/td>: 201810969492.3
• 申請日: 2018-08-23
• 公開（公告）號: CN109102030B
• 公開（公告）日: 2022-08-05
• 發(fā)明（設(shè)計）人: 蔣晨
• 申請（專利權(quán)）人: 創(chuàng)新先進技術(shù)有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06V10/778;G06V10/774;G06V10/776;G06Q10/04;G06Q40/08
• 代理公司: 北京億騰知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11309
• 代理人: 陳霽;周良玉

本說明書實施例提供一種控制線上模型更新的方法和裝置，方法包括，從輸入到線上第一模型的線上輸入樣本中采集第一數(shù)目的樣本，用以進行人工標(biāo)注；獲取人工標(biāo)注的第一數(shù)目的樣本，作為訓(xùn)練樣本；然后，至少基于所述訓(xùn)練樣本，離線訓(xùn)練第一模型，得到第二模型。接著，利用預(yù)定測試樣本集，離線測試所述第二模型；在測試結(jié)果滿足預(yù)定條件的情況下，將線上運行的所述第一模型更新為第二模型。

技術(shù)領(lǐng)域

本說明書一個或多個實施例涉及模型訓(xùn)練和模型測試領(lǐng)域，尤其涉及更新在線模型的方法和裝置。

背景技術(shù)

隨著人工智能的發(fā)展，已經(jīng)針對各種各樣的業(yè)務(wù)場景進行建模和機器學(xué)習(xí)，因此各種各樣的神經(jīng)網(wǎng)絡(luò)模型被運用在豐富的業(yè)務(wù)場景中。

例如，在車輛定損場景中，已經(jīng)提出了多種模型，例如用于識別車輛部件的模型，用于識別車輛損失程度的模型，用于計算定損理賠方案的模型，等等。這些模型需要利用大量訓(xùn)練樣本進行訓(xùn)練，然后用測試樣本進行測試，測試通過之后，投入線上運行。然而，在有些情況下，即使訓(xùn)練和測試通過的模型，仍然需要對其進行更新，以進一步提高其準(zhǔn)確度。

因此，希望能有改進的方案，更加有效地對在線運行的模型進行更新。

發(fā)明內(nèi)容

本說明書一個或多個實施例描述了一種控制線上模型更新的方法，可以對線上運行的模型進行自動高效的監(jiān)控和更新。

根據(jù)第一方面，提供了一種控制線上模型更新的方法，包括：

從線上輸入樣本中采集第一數(shù)目的樣本，用以進行人工標(biāo)注，所述線上輸入樣本用于輸入到線上運行的第一模型；

獲取人工標(biāo)注的所述第一數(shù)目的樣本，作為訓(xùn)練樣本；

至少基于所述訓(xùn)練樣本，離線訓(xùn)練所述第一模型，得到第二模型；

利用預(yù)定測試樣本集，離線測試所述第二模型；

在測試結(jié)果滿足預(yù)定條件的情況下，將線上運行的所述第一模型更新為第二模型。

根據(jù)一種可能的設(shè)計，上述方法還包括：評估所述線上運行的第一模型的預(yù)測準(zhǔn)確度。

進一步地，在一個實施例中，通過以下方式評估所述線上運行的第一模型的預(yù)測準(zhǔn)確度：

從所述線上輸入樣本中采集第二數(shù)目的樣本，用以進行人工標(biāo)注；

獲取人工標(biāo)注的所述第二數(shù)目的樣本，作為第一測試樣本集；

利用所述第一測試樣本集，測試所述線上運行的第一模型的預(yù)測準(zhǔn)確度。

更具體地，在一個實施例中，通過以下方式測試所述線上運行的第一模型的預(yù)測準(zhǔn)確度：

獲取所述線上運行的第一模型對所述第二數(shù)目的樣本的預(yù)測結(jié)果；

獲取所述第二數(shù)目的樣本的人工標(biāo)注標(biāo)簽；

通過比對所述預(yù)測結(jié)果和所述人工標(biāo)注標(biāo)簽，確定所述線上運行的第一模型的預(yù)測準(zhǔn)確度。

在一種實施方式中，在將線上運行的所述第一模型更新為第二模型之后，評估線上運行的第二模型的預(yù)測準(zhǔn)確度。

進一步地，根據(jù)一種可能的實施方式，利用前述的第一測試樣本集，測試所述線上運行的第二模型的預(yù)測準(zhǔn)確度。

在另一種可能的實施方式中，通過以下方式評估線上運行的第二模型的預(yù)測準(zhǔn)確度：

從輸入到第二模型的線上輸入樣本中采集第三數(shù)目的樣本，用以進行人工標(biāo)注；

獲取人工標(biāo)注的所述第三數(shù)目的樣本，作為第二測試樣本集；

利用所述第二測試樣本集，測試所述線上運行的第二模型的預(yù)測準(zhǔn)確度。