[發(fā)明專利]一種數(shù)據(jù)標(biāo)注方法、裝置、設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010532091.9
• 申請(qǐng)日: 2020-06-11
• 公開(kāi)（公告）號(hào): CN111859854A
• 公開(kāi)（公告）日: 2020-10-30
• 發(fā)明（設(shè)計(jì)）人: 蘭星;陳偉;謝佳雨
• 申請(qǐng)（專利權(quán)）人: 第四范式（北京）技術(shù)有限公司
• 主分類號(hào): G06F40/117
• 分類號(hào): G06F40/117;G06N20/00
• 代理公司: 北京開(kāi)陽(yáng)星知識(shí)產(chǎn)權(quán)代理有限公司 11710
• 代理人: 張子青

1.一種數(shù)據(jù)標(biāo)注方法，其特征在于，所述方法包括：

獲取待標(biāo)注的文本數(shù)據(jù)；

通過(guò)一個(gè)或多個(gè)機(jī)器學(xué)習(xí)模型對(duì)所述文本數(shù)據(jù)進(jìn)行數(shù)據(jù)標(biāo)注，得到所述文本數(shù)據(jù)對(duì)應(yīng)的第一標(biāo)注結(jié)果，所述第一標(biāo)注結(jié)果包括一個(gè)或多個(gè)需標(biāo)注的標(biāo)簽中部分標(biāo)簽或全部標(biāo)簽對(duì)應(yīng)的第一文本序列；

在標(biāo)注界面上展示輸出所述文本數(shù)據(jù)對(duì)應(yīng)的第一標(biāo)注結(jié)果，以供用戶在標(biāo)注界面上對(duì)所述第一標(biāo)注結(jié)果進(jìn)行處理；

響應(yīng)于用戶對(duì)所述第一標(biāo)注結(jié)果的處理操作，確定所述文本數(shù)據(jù)對(duì)應(yīng)的第二標(biāo)注結(jié)果，所述第二標(biāo)注結(jié)果包括所述一個(gè)或多個(gè)需標(biāo)注的標(biāo)簽中每個(gè)標(biāo)簽對(duì)應(yīng)的第二文本序列。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述通過(guò)一個(gè)或多個(gè)機(jī)器學(xué)習(xí)模型對(duì)所述文本數(shù)據(jù)進(jìn)行數(shù)據(jù)標(biāo)注，得到所述文本數(shù)據(jù)對(duì)應(yīng)的第一標(biāo)注結(jié)果，包括：

通過(guò)預(yù)置的機(jī)器學(xué)習(xí)模型對(duì)所述文本數(shù)據(jù)進(jìn)行數(shù)據(jù)標(biāo)注，得到所述文本數(shù)據(jù)中與預(yù)設(shè)標(biāo)簽對(duì)應(yīng)的第三文本序列，所述預(yù)設(shè)標(biāo)簽為所述預(yù)置的機(jī)器學(xué)習(xí)模型所支持的標(biāo)簽；

根據(jù)所述預(yù)設(shè)標(biāo)簽與所述一個(gè)或多個(gè)需標(biāo)注的標(biāo)簽之間的對(duì)應(yīng)關(guān)系、以及所述第三文本序列，確定所述文本數(shù)據(jù)對(duì)應(yīng)的第一標(biāo)注結(jié)果。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述通過(guò)一個(gè)或多個(gè)機(jī)器學(xué)習(xí)模型對(duì)所述文本數(shù)據(jù)進(jìn)行數(shù)據(jù)標(biāo)注，得到所述文本數(shù)據(jù)對(duì)應(yīng)的第一標(biāo)注結(jié)果，包括：

通過(guò)多個(gè)機(jī)器學(xué)習(xí)模型分別對(duì)所述文本數(shù)據(jù)進(jìn)行數(shù)據(jù)標(biāo)注，得到每個(gè)機(jī)器學(xué)習(xí)模型輸出的第四標(biāo)注結(jié)果，其中，每個(gè)機(jī)器學(xué)習(xí)模型輸出的第四標(biāo)注結(jié)果包括所述機(jī)器學(xué)習(xí)模型支持的標(biāo)簽對(duì)應(yīng)的第四文本序列；

對(duì)每個(gè)機(jī)器學(xué)習(xí)模型輸出的第四標(biāo)注結(jié)果進(jìn)行融合處理，得到所述文本數(shù)據(jù)對(duì)應(yīng)的第一標(biāo)注結(jié)果。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述對(duì)每個(gè)機(jī)器學(xué)習(xí)模型輸出的第四標(biāo)注結(jié)果進(jìn)行融合處理，包括：

根據(jù)每個(gè)機(jī)器學(xué)習(xí)模型輸出的第四標(biāo)注結(jié)果，確定每個(gè)標(biāo)簽對(duì)應(yīng)的一個(gè)或多個(gè)第四文本序列；

針對(duì)每個(gè)標(biāo)簽，計(jì)算所述標(biāo)簽對(duì)應(yīng)的每個(gè)第四文本序列的評(píng)分值，所述評(píng)分值與每個(gè)機(jī)器學(xué)習(xí)模型分別在所述標(biāo)簽下表現(xiàn)的性能指標(biāo)、以及所述第四文本序列分別被每個(gè)機(jī)器學(xué)習(xí)模型在所述文本數(shù)據(jù)中標(biāo)出的次數(shù)相關(guān)；

針對(duì)每個(gè)標(biāo)簽，將所述標(biāo)簽對(duì)應(yīng)的評(píng)分值大于或等于第一閾值的第四文本序列作為所述標(biāo)簽對(duì)應(yīng)的第一文本序列。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述第一閾值與所述一個(gè)或多個(gè)機(jī)器學(xué)習(xí)模型中的每個(gè)機(jī)器學(xué)習(xí)模型分別在所述標(biāo)簽下表現(xiàn)的性能指標(biāo)相關(guān)。

6.根據(jù)權(quán)利要求4或5所述的方法，其特征在于，所述機(jī)器學(xué)習(xí)模型在所述標(biāo)簽下表現(xiàn)的性能指標(biāo)與所述機(jī)器學(xué)習(xí)模型對(duì)所述標(biāo)簽進(jìn)行標(biāo)注的準(zhǔn)確率和召回率相關(guān)。

7.根據(jù)權(quán)利要求1-6任一項(xiàng)所述的方法，其特征在于，所述響應(yīng)于用戶對(duì)所述第一標(biāo)注結(jié)果的處理操作，確定所述文本數(shù)據(jù)對(duì)應(yīng)的第二標(biāo)注結(jié)果之后，所述方法還包括：

根據(jù)所述文本數(shù)據(jù)對(duì)應(yīng)的第二標(biāo)注結(jié)果，對(duì)所述一個(gè)或多個(gè)機(jī)器學(xué)習(xí)模型進(jìn)行模型訓(xùn)練；

針對(duì)所述一個(gè)或多個(gè)機(jī)器學(xué)習(xí)模型中的每個(gè)機(jī)器學(xué)習(xí)模型，根據(jù)所述機(jī)器學(xué)習(xí)模型分別在每個(gè)標(biāo)簽下表現(xiàn)的性能指標(biāo)，確定所述機(jī)器學(xué)習(xí)模型的性能指標(biāo)；

若所述機(jī)器學(xué)習(xí)模型的性能指標(biāo)大于或等于第二閾值，則確定所述機(jī)器學(xué)習(xí)模型可用于對(duì)所述文本數(shù)據(jù)進(jìn)行數(shù)據(jù)標(biāo)注。

8.一種數(shù)據(jù)標(biāo)注裝置，其特征在于，包括：

機(jī)器預(yù)標(biāo)注模塊，用于獲取待標(biāo)注的文本數(shù)據(jù)；通過(guò)一個(gè)或多個(gè)機(jī)器學(xué)習(xí)模型對(duì)所述文本數(shù)據(jù)進(jìn)行數(shù)據(jù)標(biāo)注，得到所述文本數(shù)據(jù)對(duì)應(yīng)的第一標(biāo)注結(jié)果，所述第一標(biāo)注結(jié)果包括一個(gè)或多個(gè)需標(biāo)注的標(biāo)簽中部分標(biāo)簽或全部標(biāo)簽對(duì)應(yīng)的第一文本序列；

數(shù)據(jù)標(biāo)注模塊，用于在標(biāo)注界面上展示輸出所述文本數(shù)據(jù)對(duì)應(yīng)的第一標(biāo)注結(jié)果，以供用戶在標(biāo)注界面上對(duì)所述第一標(biāo)注結(jié)果進(jìn)行處理；響應(yīng)于用戶對(duì)所述第一標(biāo)注結(jié)果的處理操作，確定所述文本數(shù)據(jù)對(duì)應(yīng)的第二標(biāo)注結(jié)果，所述第二標(biāo)注結(jié)果包括所述一個(gè)或多個(gè)需標(biāo)注的標(biāo)簽中每個(gè)標(biāo)簽對(duì)應(yīng)的第二文本序列。