[發(fā)明專利]數(shù)據(jù)分發(fā)方法、裝置及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010330799.6
• 申請(qǐng)日: 2020-04-24
• 公開(kāi)（公告）號(hào): CN113553144B
• 公開(kāi)（公告）日: 2023-09-26
• 發(fā)明（設(shè)計(jì)）人: 任國(guó)燾;許江浩;楊見(jiàn)寶;唐苗;張慧梅;師文靖;洪文杰
• 申請(qǐng)（專利權(quán)）人: 杭州?？低晹?shù)字技術(shù)股份有限公司
• 主分類號(hào): G06F9/48
• 分類號(hào): G06F9/48;G06F16/21;G06F16/22;G06N20/00
• 代理公司: 北京同立鈞成知識(shí)產(chǎn)權(quán)代理有限公司 11205
• 代理人: 張娜;臧建明

本申請(qǐng)實(shí)施例提供一種數(shù)據(jù)分發(fā)方法、裝置及系統(tǒng)，該方法包括：獲取多個(gè)待標(biāo)注數(shù)據(jù)和每個(gè)所述待標(biāo)注數(shù)據(jù)的至少一個(gè)屬性信息；根據(jù)所述至少一個(gè)屬性信息，確定所述多個(gè)待標(biāo)注數(shù)據(jù)中的任意兩個(gè)待標(biāo)注數(shù)據(jù)之間的相似度；根據(jù)所述任意兩個(gè)待標(biāo)注數(shù)據(jù)之間的相似度，向客戶端發(fā)送待標(biāo)注數(shù)據(jù)序列，所述待標(biāo)注數(shù)據(jù)序列中包括所述多個(gè)待標(biāo)注數(shù)據(jù)中的全部或部分待標(biāo)注數(shù)據(jù)。本申請(qǐng)實(shí)施例中各客戶端接收到的待標(biāo)注數(shù)據(jù)之間關(guān)聯(lián)性較高，提高了標(biāo)注的效率。

技術(shù)領(lǐng)域

本申請(qǐng)實(shí)施例涉及機(jī)器學(xué)習(xí)技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)分發(fā)方法、裝置及系統(tǒng)。

背景技術(shù)

機(jī)器學(xué)習(xí)訓(xùn)練需要大量的結(jié)構(gòu)化數(shù)據(jù)，而結(jié)構(gòu)化數(shù)據(jù)是由標(biāo)注人員對(duì)原始數(shù)據(jù)進(jìn)行標(biāo)注得到的。

結(jié)構(gòu)化數(shù)據(jù)中通常具有多個(gè)實(shí)體、屬性等信息，目前的數(shù)據(jù)標(biāo)注方式是對(duì)標(biāo)注人員進(jìn)行培訓(xùn)，識(shí)別各種實(shí)體屬性如何進(jìn)行標(biāo)注。在標(biāo)注過(guò)程中，標(biāo)注任務(wù)的分發(fā)是隨機(jī)進(jìn)行發(fā)送的，人工標(biāo)注的效率較低。

因此，現(xiàn)在亟需一種方法解決人工標(biāo)注機(jī)器學(xué)習(xí)訓(xùn)練數(shù)據(jù)的效率較低的問(wèn)題。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例提供一種數(shù)據(jù)分發(fā)方法、裝置及系統(tǒng)，以解決人工標(biāo)注機(jī)器學(xué)習(xí)訓(xùn)練數(shù)據(jù)的效率較低的問(wèn)題。

第一方面，本申請(qǐng)實(shí)施例提供一種數(shù)據(jù)分發(fā)方法，包括：

獲取多個(gè)待標(biāo)注數(shù)據(jù)和每個(gè)所述待標(biāo)注數(shù)據(jù)的至少一個(gè)屬性信息；

根據(jù)所述至少一個(gè)屬性信息，確定所述多個(gè)待標(biāo)注數(shù)據(jù)中的任意兩個(gè)待標(biāo)注數(shù)據(jù)之間的相似度；

根據(jù)所述任意兩個(gè)待標(biāo)注數(shù)據(jù)之間的相似度，向客戶端發(fā)送待標(biāo)注數(shù)據(jù)序列，所述待標(biāo)注數(shù)據(jù)序列中包括所述多個(gè)待標(biāo)注數(shù)據(jù)中的全部或部分待標(biāo)注數(shù)據(jù)。

在一種可能的實(shí)施方式中，根據(jù)所述任意兩個(gè)待標(biāo)注數(shù)據(jù)之間的相似度，向客戶端發(fā)送待標(biāo)注數(shù)據(jù)序列，包括：

根據(jù)所述多個(gè)待標(biāo)注數(shù)據(jù)和所述任意兩個(gè)待標(biāo)注數(shù)據(jù)之間的相似度，獲取至少一個(gè)待標(biāo)注數(shù)據(jù)序列，其中，同一個(gè)待標(biāo)注數(shù)據(jù)序列中的任意兩個(gè)待標(biāo)注數(shù)據(jù)之間的相似度大于不同的待標(biāo)注數(shù)據(jù)序列中的任意兩個(gè)待標(biāo)注數(shù)據(jù)之間的相似度；

向所述客戶端發(fā)送所述至少一個(gè)待標(biāo)注數(shù)據(jù)序列。

在一種可能的實(shí)施方式中，根據(jù)所述多個(gè)待標(biāo)注數(shù)據(jù)和所述任意兩個(gè)待標(biāo)注數(shù)據(jù)之間的相似度，獲取至少一個(gè)待標(biāo)注數(shù)據(jù)序列，包括：

根據(jù)所述任意兩個(gè)待標(biāo)注數(shù)據(jù)之間的相似度，對(duì)所述多個(gè)待標(biāo)注數(shù)據(jù)進(jìn)行排序，得到排序后的待標(biāo)注數(shù)據(jù)；

根據(jù)所述排序后的待標(biāo)注數(shù)據(jù)，獲取所述至少一個(gè)待標(biāo)注數(shù)據(jù)序列。

在一種可能的實(shí)施方式中，向所述客戶端發(fā)送所述至少一個(gè)待標(biāo)注數(shù)據(jù)序列，包括：

針對(duì)所述至少一個(gè)待標(biāo)注數(shù)據(jù)序列中的任意待標(biāo)注數(shù)據(jù)序列i，向第一客戶端發(fā)送所述待標(biāo)注數(shù)據(jù)序列i中的任意待標(biāo)注數(shù)據(jù)；

從所述第一客戶端接收所述任意待標(biāo)注數(shù)據(jù)的標(biāo)注結(jié)果，并在所述待標(biāo)注數(shù)據(jù)序列i中除所述任意待標(biāo)注數(shù)據(jù)外的其他待標(biāo)注數(shù)據(jù)上添加所述標(biāo)注結(jié)果；

向第二客戶端發(fā)送所述待標(biāo)注數(shù)據(jù)序列i中添加了所述標(biāo)注結(jié)果的待標(biāo)注數(shù)據(jù)。

在一種可能的實(shí)施方式中，根據(jù)所述至少一個(gè)屬性信息，確定所述多個(gè)待標(biāo)注數(shù)據(jù)中的任意兩個(gè)待標(biāo)注數(shù)據(jù)之間的相似度，包括：

獲取標(biāo)注任務(wù)；

確定每個(gè)屬性信息與所述標(biāo)注任務(wù)的關(guān)聯(lián)度；

根據(jù)每個(gè)屬性信息與所述標(biāo)注任務(wù)的關(guān)聯(lián)度，確定所述多個(gè)待標(biāo)注數(shù)據(jù)中的任意兩個(gè)待標(biāo)注數(shù)據(jù)之間的相似度。