[發(fā)明專利]標(biāo)注數(shù)據(jù)的處理方法及裝置

在審

• 申請?zhí)枺?/td>: 201910739900.0
• 申請日: 2019-08-12
• 公開（公告）號: CN110610193A
• 公開（公告）日: 2019-12-24
• 發(fā)明（設(shè)計(jì)）人: 劉逸哲
• 申請（專利權(quán)）人: 大箴(杭州)科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 11448 北京中強(qiáng)智尚知識產(chǎn)權(quán)代理有限公司
• 代理人: 黃耀威;賈依嬌

1.一種標(biāo)注數(shù)據(jù)的處理方法，其特征在于，所述方法包括：

獲取從機(jī)器數(shù)據(jù)中隨機(jī)抽取的各個(gè)類目下的樣本數(shù)據(jù)，作為待標(biāo)注數(shù)據(jù)；

在基于標(biāo)注平臺對所述待標(biāo)注數(shù)據(jù)進(jìn)行標(biāo)注的過程中，統(tǒng)計(jì)各個(gè)類目下已標(biāo)注的數(shù)據(jù)，并判斷各個(gè)類目下已標(biāo)注的數(shù)據(jù)中是否分別達(dá)到預(yù)先為分類預(yù)測模型設(shè)置的訓(xùn)練標(biāo)準(zhǔn)；

若是，則將達(dá)到訓(xùn)練標(biāo)準(zhǔn)類目下已標(biāo)注的數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)輸入至網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練，得到分類預(yù)測模型；

根據(jù)所述分類預(yù)測模型對測試數(shù)據(jù)的預(yù)測概率，對所述待標(biāo)注數(shù)據(jù)進(jìn)行更新。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述統(tǒng)計(jì)各個(gè)類目下已標(biāo)注的數(shù)據(jù)，并判斷各個(gè)類目下已標(biāo)注的數(shù)據(jù)中是否分別達(dá)到預(yù)先為分類預(yù)測模型設(shè)置的訓(xùn)練標(biāo)準(zhǔn)，包括：

統(tǒng)計(jì)各個(gè)類目下已標(biāo)注的數(shù)據(jù)對應(yīng)的數(shù)據(jù)條數(shù)，并將所述數(shù)據(jù)條數(shù)達(dá)到預(yù)先為分類預(yù)測模型設(shè)置的目標(biāo)閾值作為訓(xùn)練標(biāo)準(zhǔn)；

判斷各個(gè)類目下已標(biāo)注的數(shù)據(jù)對應(yīng)的數(shù)據(jù)條數(shù)是否存在達(dá)到預(yù)先為分類預(yù)測模型設(shè)置的目標(biāo)閾值。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，在所述將達(dá)到訓(xùn)練標(biāo)準(zhǔn)類目下已標(biāo)注的數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)輸入至網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練，得到分類預(yù)測模型之前，所述方法還包括：

將達(dá)到訓(xùn)練標(biāo)準(zhǔn)類目下已標(biāo)注的數(shù)據(jù)中多余的樣本數(shù)據(jù)進(jìn)行刪除，以使得各個(gè)類目下已標(biāo)注數(shù)據(jù)對應(yīng)的數(shù)據(jù)條數(shù)分布相同。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述統(tǒng)計(jì)各個(gè)類目下已標(biāo)注的數(shù)據(jù)，并判斷各個(gè)類目下已標(biāo)注的數(shù)據(jù)中是否分別達(dá)到預(yù)先為分類預(yù)測模型設(shè)置的訓(xùn)練標(biāo)準(zhǔn)之后，所述方法還包括：

若否，則從機(jī)器數(shù)據(jù)中篩選未達(dá)到訓(xùn)練標(biāo)準(zhǔn)類目下的樣本數(shù)據(jù)，并對未達(dá)到訓(xùn)練標(biāo)準(zhǔn)類目下的樣本數(shù)據(jù)進(jìn)行標(biāo)注，以使得該類目下已標(biāo)注的數(shù)據(jù)達(dá)到該類目模型的訓(xùn)練標(biāo)準(zhǔn)。

5.根據(jù)權(quán)利要求4述的方法，其特征在于，所述從機(jī)器數(shù)據(jù)中篩選未達(dá)到訓(xùn)練標(biāo)準(zhǔn)類目下的樣本數(shù)據(jù)，包括：

通過收集未達(dá)到訓(xùn)練標(biāo)準(zhǔn)類目下的關(guān)鍵字，設(shè)置正則匹配規(guī)則；

基于正則匹配規(guī)則從機(jī)器數(shù)據(jù)中篩選出未達(dá)到訓(xùn)練標(biāo)準(zhǔn)類目下的樣本數(shù)據(jù)。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述分類預(yù)測模型對測試數(shù)據(jù)的預(yù)測概率，對所述待標(biāo)注數(shù)據(jù)進(jìn)行更新，包括：

采用未標(biāo)注的測試數(shù)據(jù)對所述分類預(yù)測模型進(jìn)行預(yù)測，得到測試數(shù)據(jù)的預(yù)測概率；

提取預(yù)測概率在預(yù)設(shè)范圍內(nèi)的目標(biāo)測試數(shù)據(jù)，對所述待標(biāo)注數(shù)據(jù)進(jìn)行更新。

7.根據(jù)權(quán)利要求6的方法，其特征在于，所述提取預(yù)測概率在預(yù)設(shè)范圍內(nèi)的目標(biāo)測試數(shù)據(jù)，對所述待標(biāo)注數(shù)據(jù)進(jìn)行更新包括：

按照所述預(yù)測概率由小至大對所述目標(biāo)測試數(shù)據(jù)進(jìn)行排序，得到目標(biāo)測試數(shù)據(jù)的標(biāo)注順序；

將所述目標(biāo)測試數(shù)據(jù)更新至所述待標(biāo)注數(shù)據(jù)中，并調(diào)整所述待標(biāo)注數(shù)據(jù)的標(biāo)注順序。

8.一種標(biāo)注數(shù)據(jù)的處理裝置，其特征在于，所述裝置包括：

獲取單元，用于獲取從機(jī)器數(shù)據(jù)中隨機(jī)抽取的各個(gè)類目下的樣本數(shù)據(jù)，作為待標(biāo)注數(shù)據(jù)；

判斷單元，用于在基于標(biāo)注平臺對所述待標(biāo)注數(shù)據(jù)進(jìn)行標(biāo)注的過程中，統(tǒng)計(jì)各個(gè)類目下已標(biāo)注的數(shù)據(jù)，并判斷各個(gè)類目下已標(biāo)注的數(shù)據(jù)中是否分別達(dá)到預(yù)先為分類預(yù)測模型設(shè)置的訓(xùn)練標(biāo)準(zhǔn)；

訓(xùn)練單元，用于若類目下已標(biāo)注的數(shù)據(jù)中達(dá)到相應(yīng)類目模型的訓(xùn)練標(biāo)準(zhǔn)，則將達(dá)到訓(xùn)練標(biāo)準(zhǔn)類目下已標(biāo)注的數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)輸入至網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練，得到分類預(yù)測模型；

更新單元，用于根據(jù)所述分類預(yù)測模型對測試數(shù)據(jù)的預(yù)測概率，對所述待標(biāo)注數(shù)據(jù)進(jìn)行更新。

9.一種計(jì)算機(jī)設(shè)備，包括存儲器和處理器，所述存儲器存儲有計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)權(quán)利要求1至7中任一項(xiàng)所述方法的步驟。

10.一種計(jì)算機(jī)存儲介質(zhì)，其上存儲有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至7中任一項(xiàng)所述的方法的步驟。