[發(fā)明專利]針對海量類別數(shù)據(jù)進行分批分類的機器學(xué)習(xí)方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201811643314.8
• 申請日: 2018-12-29
• 公開（公告）號: CN109977988A
• 公開（公告）日: 2019-07-05
• 發(fā)明（設(shè)計）人: 冀輝;裴非;李昊;袁曉艷;武新
• 申請（專利權(quán)）人: 天津南大通用數(shù)據(jù)技術(shù)股份有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 天津濱海科緯知識產(chǎn)權(quán)代理有限公司 12211
• 代理人: 楊慧玲

1.一種針對海量類別數(shù)據(jù)進行分批分類的機器學(xué)習(xí)方法，其特征在于，包括：

S1、將海量類別數(shù)據(jù)拆分成多個子分類任務(wù)，每個子分類任務(wù)只建立局部類別的分類器，滿足內(nèi)存資源可以實現(xiàn)；

S2、多個子分類器結(jié)果進行集成，進行二次分類，確定最終的分類結(jié)果。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，步驟S1具體包括：

S1.1、將全部數(shù)據(jù)按類別分隔成系統(tǒng)可以進行訓(xùn)練、或滿足訓(xùn)練時間要求的小任務(wù)；

S1.2、根據(jù)系統(tǒng)要求，對于無需進行類別映射的系統(tǒng)，直接轉(zhuǎn)到步驟S1.3；對于需要進行映射轉(zhuǎn)換的系統(tǒng)，實現(xiàn)不同任務(wù)間的類別的映射關(guān)系；

S1.3、使用每個任務(wù)對應(yīng)的數(shù)據(jù)，分別訓(xùn)練各自的模型，得到多個小類別的分類模型。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，步驟S2包括：

S2.1、對于新的待預(yù)測數(shù)據(jù)，使用多個模型分別進行預(yù)測，得到數(shù)據(jù)在每個模型下的類別相似度；

S2.2、將多個模型的預(yù)測值按映射規(guī)則進行反向偏移，得到各個模型在新的類別下的相似度；

S2.3、根據(jù)類別字典，將多個模型的相似度結(jié)果進行拼接，得到完整的各類別相似度；

S2.4、根據(jù)預(yù)測結(jié)果是單分類，還是多分類，從預(yù)測值中，選出一個或多個值的索引。

4.一種針對海量類別數(shù)據(jù)進行分批分類的機器學(xué)習(xí)系統(tǒng)，其特征在于，包括：

拆分模塊，將海量類別數(shù)據(jù)拆分成多個子分類任務(wù)，每個子分類任務(wù)只建立局部類別的分類器，滿足內(nèi)存資源可以實現(xiàn)；

二次分類模塊，用于將多個子分類器結(jié)果進行集成，進行二次分類，確定最終的分類結(jié)果。

5.根據(jù)權(quán)利要求4所述的系統(tǒng)，其特征在于，拆分模塊包括：

分隔單元，用于將全部數(shù)據(jù)按類別分隔成系統(tǒng)可以進行訓(xùn)練、或滿足訓(xùn)練時間要求的小任務(wù)；

映射單元，用于根據(jù)系統(tǒng)要求，對于無需進行類別映射的系統(tǒng)，直接轉(zhuǎn)到訓(xùn)練單元；對于需要進行映射轉(zhuǎn)換的系統(tǒng)，實現(xiàn)不同任務(wù)間的類別的映射關(guān)系；

訓(xùn)練單元，用于使用每個任務(wù)對應(yīng)的數(shù)據(jù)，分別訓(xùn)練各自的模型，得到多個小類別的分類模型。

6.根據(jù)權(quán)利要求4所述的系統(tǒng)，其特征在于，二次分類模塊包括：

預(yù)測單元，用于對于新的待預(yù)測數(shù)據(jù)，使用多個模型分別進行預(yù)測，得到數(shù)據(jù)在每個模型下的類別相似度；

偏移單元，用于將多個模型的預(yù)測值按映射規(guī)則進行反向偏移，得到各個模型在新的類別下的相似度；

拼接單元，用于根據(jù)類別字典，將多個模型的相似度結(jié)果進行拼接，得到完整的各類別相似度；

分類單元，用于根據(jù)預(yù)測結(jié)果是單分類，還是多分類，從預(yù)測值中，選出一個或多個值的索引。