[發明專利]模型構建方法、裝置、存儲介質及設備

在審

• 申請號: 201910904555.1
• 申請日: 2019-09-24
• 公開（公告）號: CN112632179A
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 韓旭紅
• 申請（專利權）人: 北京國雙科技有限公司
• 主分類號: G06F16/26
• 分類號: G06F16/26;G06F16/215;G06F16/21
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 任美玲

1.一種模型構建方法，其特征在于，包括：

獲取線上數據；

對所述線上數據進行眾包標注，得到標注結果；所述標注結果包括：標注好的訓練數據與標注情況信息；

獲取所述標注結果的標注質量；

根據當前任務類型與所述標注結果的標注質量，選擇相應的機器學習模型與相應的模型訓練參數；

利用所述標注好的訓練數據，按照所述相應的模型訓練參數，對所述相應的機器學習模型進行訓練，得到訓練好的預測模型。

2.如權利要求1所述的方法，其特征在于，所述獲取所述標注結果的標注質量包括：

根據所述標注結果，獲取各個標注人員的個人標注準確率與所有標注人員的整體標注準確率；

當有標注人員的個人標注準確率，低于所述整體標注準確率且與所述整體標注準確率的偏差大于預設偏差閾值時，獲取個人標注準確率低于第一準確率閾值的部分標注人員的人數；

根據所述部分標注人員的人數，確定所述標注結果的標注質量。

3.如權利要求1或2所述的方法，其特征在于，在所述獲取所述標注結果的標注質量之后，所述方法還包括：

根據所述標注結果的標注質量，對標注選取人數與一致回收人數的比例進行調整。

4.如權利要求1或2所述的方法，其特征在于，所述根據當前任務類型與所述標注結果的標注質量，選擇相應的機器學習模型與相應的模型訓練參數包括：

根據所述標注結果的標注質量，確定所述線上數據的標注難度；

根據當前任務類型與所述線上數據的標注難度，選擇相應的機器學習模型與相應的模型訓練參數。

5.如權利要求1所述的方法，其特征在于，在所述利用所述標注好的訓練數據，按照所述相應的模型訓練參數，對所述相應的機器學習模型進行訓練，得到訓練好的預測模型之后，所述方法還包括：

獲取新線上數據；

對所述新線上數據進行眾包標注，得到新標注結果；

利用所述訓練好的預測模型對所述新線上數據進行預測，得到預測結果；

根據所述新標注結果與所述預測結果，確定所述訓練好的預測模型是否符合預期效果。

6.如權利要求5所述的方法，其特征在于，在確定所述訓練好的預測模型符合預期效果之后，所述方法還包括：

根據所述新標注結果與所述預測結果，獲取所述新上線數據的熵值分布信息；

根據所述新上線數據的熵值分布信息，設定預測結果報警條件；

對所述預測模型的后續預測結果進行監控；

當所述預測模型的后續預測結果滿足所述預測結果報警條件時，選取主動學習數據對所述預測模型進行增量訓練，得到優化后的預測模型。

7.如權利要求6所述的方法，其特征在于，所述對所述預測模型的后期預測結果進行監控包括：

按照預設時間間隔，獲取所述預測模型的后續預測結果；

根據所述后續預測結果，獲取所述后續預測結果的熵值信息；

監控所述后續預測結果的熵值信息，是否達到預設熵值報警條件。

8.一種模型構建裝置，其特征在于，包括：

眾包處理單元，用于獲取線上數據；對所述線上數據進行眾包標注，得到標注結果；所述標注結果包括：標注好的訓練數據與標注情況信息；獲取所述標注結果的標注質量；

算法處理單元，用于根據當前任務類型與所述標注結果的標注質量，選擇相應的機器學習模型與相應的模型訓練參數；利用所述標注好的訓練數據，按照所述相應的模型訓練參數，對所述相應的機器學習模型進行訓練，得到訓練好的預測模型。

9.一種存儲介質，其特征在于，所述存儲介質包括存儲的程序，其中，在所述程序運行時控制所述存儲介質所在設備執行如權利要求1-7中任一項所述的模型構建方法。

10.一種模型構建設備，其特征在于，包括至少一個處理器、以及與處理器連接的至少一個存儲器、總線；其中，處理器、存儲器通過總線完成相互間的通信；處理器用于調用存儲器中的程序指令，以執行如權利要求1-7中任一項所述的模型構建方法。