[發(fā)明專利]面向非平衡數(shù)據(jù)基于半監(jiān)督分布式訓(xùn)練的任務(wù)識(shí)別方法

在審

• 申請?zhí)枺?/td>: 202111473280.4
• 申請日: 2021-12-02
• 公開（公告）號: CN114154578A
• 公開（公告）日: 2022-03-08
• 發(fā)明（設(shè)計(jì)）人: 許志偉;董澤輝;劉利民;王永生
• 申請（專利權(quán)）人: 內(nèi)蒙古工業(yè)大學(xué)
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/08
• 代理公司: 西安智大知識(shí)產(chǎn)權(quán)代理事務(wù)所 61215
• 代理人: 段俊濤

1.一種面向非平衡數(shù)據(jù)基于半監(jiān)督分布式訓(xùn)練的任務(wù)識(shí)別方法，其特征在于，包括：

步驟1，首先，針對待分類任務(wù)，利用邊緣設(shè)備采集樣本數(shù)據(jù)，將采集到的樣本數(shù)據(jù)分為有標(biāo)簽集和無標(biāo)簽集；然后，邊緣設(shè)備利用自身的預(yù)訓(xùn)練模型對采集到的樣本數(shù)據(jù)進(jìn)行處理，得出召回率和準(zhǔn)確率，根據(jù)召回率和準(zhǔn)確率得出待分類任務(wù)每個(gè)類別的數(shù)量，并根據(jù)每個(gè)類別的數(shù)量對各類別進(jìn)行降序排序；最后，邊緣設(shè)備獲取到處理后的數(shù)據(jù)集，數(shù)據(jù)集中標(biāo)簽集和無標(biāo)簽集的邊際類分布均是傾斜的；

步驟2，基于所述處理后的數(shù)據(jù)集，利用邊緣設(shè)備、多層邊緣節(jié)點(diǎn)和數(shù)據(jù)中心服務(wù)器組成的多層分布式訓(xùn)練結(jié)構(gòu)，使用數(shù)據(jù)并行的分布式訓(xùn)練方法訓(xùn)練半監(jiān)督學(xué)習(xí)模型，其中，邊緣節(jié)點(diǎn)為訓(xùn)練節(jié)點(diǎn)時(shí)計(jì)算本地訓(xùn)練梯度，邊緣節(jié)點(diǎn)為參數(shù)服務(wù)器時(shí)進(jìn)行訓(xùn)練參數(shù)共享，一個(gè)參數(shù)服務(wù)器和多個(gè)邊緣節(jié)點(diǎn)協(xié)同執(zhí)行一個(gè)訓(xùn)練任務(wù)，數(shù)據(jù)中心服務(wù)器調(diào)度訓(xùn)練任務(wù)，每個(gè)訓(xùn)練任務(wù)經(jīng)過分布式訓(xùn)練得到一個(gè)優(yōu)化模型；

步驟3，利用訓(xùn)練得到的優(yōu)化模型對標(biāo)簽集和無標(biāo)簽集實(shí)現(xiàn)類再平衡自訓(xùn)練，步驟如下：

步驟3.1，以訓(xùn)練得到的優(yōu)化模型為教師模型，對無標(biāo)簽集進(jìn)行預(yù)測，獲得一個(gè)偽標(biāo)簽集；

步驟3.2，從標(biāo)簽集估計(jì)類分布，基于類再平衡規(guī)則，根據(jù)分布情況，從偽標(biāo)簽集中選取部分偽標(biāo)簽樣本生成一個(gè)偽標(biāo)簽子集，利用偽標(biāo)簽子集擴(kuò)展標(biāo)簽集，實(shí)現(xiàn)數(shù)據(jù)集的類分布平衡；

步驟3.3，基于步驟3.2所得類分布平衡的數(shù)據(jù)集，利用步驟2的方法訓(xùn)練一個(gè)新的模型，稱為學(xué)生模型，并替代其相應(yīng)的教師模型，通過設(shè)定一個(gè)閾值，到達(dá)該閾值后，結(jié)束自訓(xùn)練，得到識(shí)別任務(wù)模型；

步驟4，利用所述識(shí)別任務(wù)模型對新的待識(shí)別對象進(jìn)行識(shí)別。

2.根據(jù)權(quán)利要求1所述基于半監(jiān)督分布式訓(xùn)練的任務(wù)識(shí)別方法，其特征在于，所述步驟1中，待分類任務(wù)有L個(gè)類別，有標(biāo)簽集χ＝{(x_n,y_n)}，無標(biāo)簽集u＝{u_m}，其中x_n表示第n個(gè)有標(biāo)簽樣本，n∈(1,…,N)，N為有標(biāo)簽樣本的總數(shù)，N_l為有標(biāo)簽集χ中第l類有標(biāo)簽樣本的數(shù)量，y_n為x_n對應(yīng)的類標(biāo)簽，y_n∈{1,…,L}，u_m表示第m個(gè)無標(biāo)簽樣本，m∈(1,…,M)，M為無標(biāo)簽樣本的總數(shù)，u_m∈R^d，x_n∈R^d，R^d表示待分類任務(wù)中的所有樣本的存儲(chǔ)矩陣，R為實(shí)數(shù)域，d為維數(shù)，根據(jù)每個(gè)類別的數(shù)量對各類別進(jìn)行降序排序，得N_L＞……＞N_l＞……＞N₁其中N_L是有標(biāo)簽集χ中第L類有標(biāo)簽樣本的數(shù)量，其中N₁是有標(biāo)簽集χ中第1類有標(biāo)簽樣本的數(shù)量，有標(biāo)簽集χ和無標(biāo)簽集u共享相同的邊際類分布，不平衡率標(biāo)簽分?jǐn)?shù)單個(gè)邊緣節(jié)點(diǎn)所需訓(xùn)練數(shù)據(jù)量S＝N+M。

3.根據(jù)權(quán)利要求1所述基于半監(jiān)督分布式訓(xùn)練的任務(wù)識(shí)別方法，其特征在于，所述步驟2，邊緣節(jié)點(diǎn)作為訓(xùn)練節(jié)點(diǎn)時(shí)，訓(xùn)練節(jié)點(diǎn)之間不會(huì)通信，采用一種強(qiáng)同步的通信模式，每一個(gè)訓(xùn)練節(jié)點(diǎn)在完成一次迭代后會(huì)被堵塞，直到參數(shù)服務(wù)器收到所有訓(xùn)練節(jié)點(diǎn)傳送來的梯度并將最新的參數(shù)值傳遞給所有訓(xùn)練節(jié)點(diǎn)后才能執(zhí)行下一輪迭代計(jì)算。

4.根據(jù)權(quán)利要求1所述基于半監(jiān)督分布式訓(xùn)練的任務(wù)識(shí)別方法，其特征在于，所述步驟2包括：

步驟2.1，本地訓(xùn)練

邊緣節(jié)點(diǎn)判斷所述處理后的數(shù)據(jù)集是否達(dá)到本地訓(xùn)練所需數(shù)據(jù)量，數(shù)據(jù)量不足時(shí)將本地?cái)?shù)據(jù)發(fā)送到下層邊緣節(jié)點(diǎn)，直至滿足本地訓(xùn)練所需數(shù)據(jù)量，相應(yīng)的邊緣節(jié)點(diǎn)為訓(xùn)練節(jié)點(diǎn)，訓(xùn)練節(jié)點(diǎn)利用標(biāo)簽集和無標(biāo)簽集進(jìn)行半監(jiān)督學(xué)習(xí)訓(xùn)練，然后將訓(xùn)練計(jì)算得到的梯度發(fā)送到下層邊緣節(jié)點(diǎn)；

步驟2.2，參數(shù)聚合

當(dāng)邊緣節(jié)點(diǎn)進(jìn)行聚合訓(xùn)練參數(shù)時(shí)，相應(yīng)的邊緣節(jié)點(diǎn)為參數(shù)服務(wù)器，參數(shù)服務(wù)器收集訓(xùn)練節(jié)點(diǎn)的訓(xùn)練參數(shù)，將參數(shù)進(jìn)行聚合，聚合完成后發(fā)送回訓(xùn)練節(jié)點(diǎn)；

步驟2.3，任務(wù)調(diào)度

一個(gè)參數(shù)服務(wù)器和多個(gè)訓(xùn)練節(jié)點(diǎn)協(xié)同執(zhí)行半監(jiān)督學(xué)習(xí)的訓(xùn)練任務(wù)，多層分布式訓(xùn)練結(jié)構(gòu)由多個(gè)訓(xùn)練任務(wù)組成，數(shù)據(jù)中心服務(wù)器同時(shí)處理多個(gè)訓(xùn)練任務(wù)。