[發(fā)明專利]一種標(biāo)注任務(wù)處理方法、裝置、設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010532092.3
• 申請日: 2020-06-11
• 公開（公告）號: CN111859855A
• 公開（公告）日: 2020-10-30
• 發(fā)明（設(shè)計(jì)）人: 謝佳雨;陳偉
• 申請（專利權(quán)）人: 第四范式（北京）技術(shù)有限公司
• 主分類號: G06F40/117
• 分類號: G06F40/117;G06N20/00
• 代理公司: 北京開陽星知識產(chǎn)權(quán)代理有限公司 11710
• 代理人: 張子青

1.一種標(biāo)注任務(wù)處理方法，其特征在于，所述方法包括：

創(chuàng)建多個(gè)標(biāo)注任務(wù)，所述多個(gè)標(biāo)注任務(wù)分別用于標(biāo)注不同的實(shí)體類型；

將所述多個(gè)標(biāo)注任務(wù)分別推送給不同的標(biāo)注模塊；

當(dāng)所述多個(gè)標(biāo)注任務(wù)中的任一標(biāo)注任務(wù)完成時(shí)，向執(zhí)行所述標(biāo)注任務(wù)的標(biāo)注模塊推送其他未完成的標(biāo)注任務(wù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述多個(gè)標(biāo)注任務(wù)中的每個(gè)標(biāo)注任務(wù)包括待標(biāo)注數(shù)據(jù)；

所述標(biāo)注模塊用于展示所述待標(biāo)注數(shù)據(jù)，并根據(jù)標(biāo)注員對所述待標(biāo)注數(shù)據(jù)的標(biāo)注操作，確定第一標(biāo)注結(jié)果，所述第一標(biāo)注結(jié)果包括所述標(biāo)注模塊接收到的標(biāo)注任務(wù)需要標(biāo)注的實(shí)體類型對應(yīng)的實(shí)體內(nèi)容。

3.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述方法還包括：

從標(biāo)注同一實(shí)體類型的所有標(biāo)注模塊接收第一標(biāo)注結(jié)果；

根據(jù)所述第一標(biāo)注結(jié)果對機(jī)器學(xué)習(xí)模型進(jìn)行訓(xùn)練，所述機(jī)器學(xué)習(xí)模型用于預(yù)測所述標(biāo)注任務(wù)需要標(biāo)注的實(shí)體類型對應(yīng)的實(shí)體內(nèi)容。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，根據(jù)所述第一標(biāo)注結(jié)果對機(jī)器學(xué)習(xí)模型進(jìn)行訓(xùn)練，包括：

當(dāng)所述第一標(biāo)注結(jié)果的個(gè)數(shù)大于或等于預(yù)設(shè)個(gè)數(shù)時(shí)，根據(jù)所述第一標(biāo)注結(jié)果對機(jī)器學(xué)習(xí)模型進(jìn)行訓(xùn)練。

5.根據(jù)權(quán)利要求3或4所述的方法，其特征在于，根據(jù)所述第一標(biāo)注結(jié)果對機(jī)器學(xué)習(xí)模型進(jìn)行訓(xùn)練之后，所述方法還包括：

確定所述訓(xùn)練后的機(jī)器學(xué)習(xí)模型的性能指標(biāo)是否達(dá)標(biāo)；

若所述訓(xùn)練后的機(jī)器學(xué)習(xí)模型的性能指標(biāo)已達(dá)標(biāo)，則確定所述標(biāo)注任務(wù)完成。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述方法還包括：

若所述訓(xùn)練后的機(jī)器學(xué)習(xí)模型的性能指標(biāo)未達(dá)標(biāo)，則根據(jù)所述訓(xùn)練后的機(jī)器學(xué)習(xí)模型對數(shù)據(jù)集中的待標(biāo)注數(shù)據(jù)進(jìn)行預(yù)測，得到第一預(yù)測結(jié)果；

將所述第一預(yù)測結(jié)果推送給所述標(biāo)注模塊，所述標(biāo)注模塊用于展示所述第一預(yù)測結(jié)果，并根據(jù)標(biāo)注員對所述第一預(yù)測結(jié)果的處理操作，確定第二標(biāo)注結(jié)果。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述標(biāo)注員對所述第一預(yù)測結(jié)果的處理操作包括如下至少一種：

對所述第一預(yù)測結(jié)果中的部分已標(biāo)注項(xiàng)進(jìn)行確認(rèn)標(biāo)注的操作；

對所述第一預(yù)測結(jié)果中的部分已標(biāo)注項(xiàng)進(jìn)行刪除標(biāo)注的操作；

對所述第一預(yù)測結(jié)果中的部分已標(biāo)注項(xiàng)進(jìn)行修改標(biāo)注的操作；

對所述第一預(yù)測結(jié)果中的未標(biāo)注項(xiàng)進(jìn)行補(bǔ)充標(biāo)注的操作。

8.一種標(biāo)注任務(wù)處理裝置，其特征在于，包括：

標(biāo)注任務(wù)管理模塊，用于創(chuàng)建多個(gè)標(biāo)注任務(wù)，所述多個(gè)標(biāo)注任務(wù)分別用于標(biāo)注不同的實(shí)體類型；將所述多個(gè)標(biāo)注任務(wù)分別推送給不同的標(biāo)注模塊；

標(biāo)注任務(wù)調(diào)度模塊，用于當(dāng)所述多個(gè)標(biāo)注任務(wù)中的任一標(biāo)注任務(wù)完成時(shí)，向執(zhí)行所述標(biāo)注任務(wù)的標(biāo)注模塊推送其他未完成的標(biāo)注任務(wù)。

9.一種標(biāo)注任務(wù)處理設(shè)備，其特征在于，包括：

存儲器；

處理器；以及

計(jì)算機(jī)程序；

其中，所述計(jì)算機(jī)程序存儲在所述存儲器中，并被配置為由所述處理器執(zhí)行以實(shí)現(xiàn)如權(quán)利要求1-7中任一所述的方法。

10.一種計(jì)算機(jī)可讀存儲介質(zhì)，其上存儲有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-7中任一項(xiàng)所述的方法。