[發(fā)明專利]一種基于主動學(xué)習(xí)的文本數(shù)據(jù)自動標(biāo)注方法

有效

• 申請?zhí)枺?/td>: 201710081921.9
• 申請日: 2017-02-15
• 公開（公告）號: CN107067025B
• 公開（公告）日: 2020-12-22
• 發(fā)明（設(shè)計(jì)）人: 王進(jìn);張登峰;卜亞楠;李穎;范磊;李智星;歐陽衛(wèi)華;孫開偉;陳喬松;鄧欣;胡峰;雷大江
• 申請（專利權(quán)）人: 重慶郵電大學(xué)
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 重慶市恒信知識產(chǎn)權(quán)代理有限公司 50102
• 代理人: 劉小紅

本發(fā)明請求保護(hù)一種基于主動學(xué)習(xí)的文本數(shù)據(jù)自動標(biāo)注方法，屬于主動學(xué)習(xí)領(lǐng)域，包括以下步驟：101對已標(biāo)記和未標(biāo)記數(shù)據(jù)進(jìn)行處理；102利用多個不同分類器對未標(biāo)記數(shù)據(jù)進(jìn)行分類；103選出分歧熵低的數(shù)據(jù)；104對分歧熵低的數(shù)據(jù)進(jìn)行人工標(biāo)記；105對人工標(biāo)記結(jié)果進(jìn)行自檢。本發(fā)明針對如何在減少人工標(biāo)注數(shù)據(jù)的數(shù)量的同時，盡量保證人工標(biāo)注數(shù)據(jù)的準(zhǔn)確性問題，通過結(jié)合主動學(xué)習(xí)方法發(fā)明一個附帶自檢功能的數(shù)據(jù)自動標(biāo)注系統(tǒng)，達(dá)到縮減工作量且提高人工標(biāo)注數(shù)據(jù)準(zhǔn)確性的目的。

技術(shù)領(lǐng)域

本發(fā)明涉及主動學(xué)習(xí)領(lǐng)域，尤其涉及一種基于主動學(xué)習(xí)的數(shù)據(jù)自動標(biāo)注方法。

背景技術(shù)

隨著大數(shù)據(jù)時代的到來，互聯(lián)網(wǎng)上出現(xiàn)了一種新型職業(yè)—數(shù)據(jù)標(biāo)注員。數(shù)據(jù)標(biāo)注員的工作是使用自動化的工具從互聯(lián)網(wǎng)上抓取、收集數(shù)據(jù)，包括文本、圖片、語音等等，然后對抓取的數(shù)據(jù)進(jìn)行整理與標(biāo)注。具體的工作流程：首先，標(biāo)注人員經(jīng)過培訓(xùn)，確定需要標(biāo)注的樣本數(shù)據(jù)以及標(biāo)注規(guī)則；然后，根據(jù)事先安排好的規(guī)則對樣本數(shù)據(jù)進(jìn)行打標(biāo)；最后，對標(biāo)注完以后的結(jié)果進(jìn)行合并。但是，這種打標(biāo)過程存在以下問題：1、整個標(biāo)注過程非常復(fù)雜，數(shù)據(jù)量特別多的時候，需要人工勞動力會特別大；2、在數(shù)據(jù)標(biāo)注過程中，由于標(biāo)注人員的精力有限或者標(biāo)注人員的主觀性等因素，導(dǎo)致無法保證標(biāo)注數(shù)據(jù)的百分百準(zhǔn)確性，即無法判斷標(biāo)注的質(zhì)量。因此，大量數(shù)據(jù)的標(biāo)注過程是一個非常耗時且難以保證準(zhǔn)確率的任務(wù)。

在真實(shí)的應(yīng)用中，實(shí)驗(yàn)數(shù)據(jù)容易獲得，數(shù)據(jù)規(guī)模也是非常大的，由于數(shù)據(jù)需要處理成有標(biāo)簽樣本，因而，需要大量的人員耗時耗力來處理。在大數(shù)據(jù)發(fā)展的今天，通過已標(biāo)記樣本來標(biāo)記未標(biāo)記的樣本數(shù)據(jù)是非常常見的一種方法。由于人工標(biāo)記樣本是有限的，而且不能保證所有的人工標(biāo)記的數(shù)據(jù)樣本都是正確的。而且，在實(shí)際問題中，某些樣本數(shù)據(jù)，如基因分析所用的基因組成數(shù)據(jù)，標(biāo)記代價很高，所以通常來說，未標(biāo)記樣本數(shù)量會遠(yuǎn)遠(yuǎn)超過已標(biāo)記樣本的數(shù)據(jù)。因此，怎樣減少人工標(biāo)注數(shù)據(jù)的數(shù)量，并盡量保證人工標(biāo)注數(shù)據(jù)的準(zhǔn)確性的此類主動學(xué)習(xí)方法，成為了近年來的研究熱點(diǎn)之一。

因此，本文針對在大數(shù)據(jù)背景下，基于傳統(tǒng)主動學(xué)習(xí)方法，提出一種基于主動學(xué)習(xí)的數(shù)據(jù)自動標(biāo)注系統(tǒng)，解決人工標(biāo)注數(shù)據(jù)的可靠性問題，對于機(jī)器學(xué)習(xí)算法不能正確標(biāo)注的數(shù)據(jù)樣本進(jìn)行人工標(biāo)注，之后，對人工標(biāo)注的結(jié)果利用一種自檢機(jī)制，對人工標(biāo)注結(jié)果進(jìn)行反饋，以確保數(shù)據(jù)標(biāo)注的正確性。

發(fā)明內(nèi)容

本發(fā)明旨在解決以上現(xiàn)有技術(shù)的問題。提出了一種縮減工作量且提高人工標(biāo)注數(shù)據(jù)準(zhǔn)確性的基于主動學(xué)習(xí)的文本數(shù)據(jù)自動標(biāo)注方法。本發(fā)明的技術(shù)方案如下：

一種基于主動學(xué)習(xí)的文本數(shù)據(jù)自動標(biāo)注方法，其包括以下步驟：101、對已標(biāo)記文本數(shù)據(jù)和未標(biāo)記文本數(shù)據(jù)進(jìn)行處理：首先分別對已人工標(biāo)記樣本文本數(shù)據(jù)和未標(biāo)記樣本文本數(shù)據(jù)做聚類處理，保存聚類后所得的k個聚簇中心點(diǎn) (C₁,C₂,C₃,…,C_k)和每個聚簇內(nèi)點(diǎn)到聚類中心的距離d，以及每個聚簇的聚類半徑(r₁,r₂,…,r_k)；

102、利用多個不同的基分類器對未標(biāo)記文本數(shù)據(jù)進(jìn)行分類：根據(jù)步驟101 中經(jīng)過聚類處理的部分已標(biāo)記文本數(shù)據(jù)訓(xùn)練M個不同的分類器 (M₁,M₂,…,M_M)，并根據(jù)另外一部分文本數(shù)據(jù)使用線性回歸模型對M個不同基分類器的分類結(jié)果做模型融合，得到每個基分類器的權(quán)重(i₁,i₂,…,i_M),使用這 M個分類器結(jié)合各自權(quán)重對未標(biāo)記文本數(shù)據(jù)進(jìn)行分類并根據(jù)標(biāo)記結(jié)果，將已確定標(biāo)記無誤的樣本加入已標(biāo)記樣本并不斷定時重新訓(xùn)練當(dāng)前各分類器模型，未標(biāo)記文本數(shù)據(jù)確認(rèn)類別后加入到已標(biāo)記文本數(shù)據(jù)中，隨著已標(biāo)記文本數(shù)據(jù)量的增加，分類器模型應(yīng)不斷重新訓(xùn)練更新；