[發(fā)明專利]一種基于在線反繹學(xué)習(xí)的流式數(shù)據(jù)分類方法及其實(shí)現(xiàn)裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202110430304.1
• 申請(qǐng)日: 2021-04-21
• 公開(kāi)（公告）號(hào): CN113095423A
• 公開(kāi)（公告）日: 2021-07-09
• 發(fā)明（設(shè)計(jì)）人: 李宇峰;周志華;黃宇軒
• 申請(qǐng)（專利權(quán)）人: 南京大學(xué)
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06N5/02
• 代理公司: 南京樂(lè)羽知行專利代理事務(wù)所(普通合伙) 32326
• 代理人: 李玉平

本發(fā)明公開(kāi)一種基于在線反繹學(xué)習(xí)的流式數(shù)據(jù)分類方法及其實(shí)現(xiàn)裝置，通過(guò)將輸入的無(wú)標(biāo)記（或弱監(jiān)督標(biāo)記）流式數(shù)據(jù)放入當(dāng)前學(xué)習(xí)器，從而獲得對(duì)當(dāng)前流式數(shù)據(jù)預(yù)測(cè)的偽標(biāo)記；對(duì)預(yù)測(cè)得到的偽標(biāo)記，通過(guò)利用知識(shí)庫(kù)（和弱監(jiān)督標(biāo)記），執(zhí)行反繹推理操作得到修改后的偽標(biāo)記；最后，使用修改后的偽標(biāo)記對(duì)學(xué)習(xí)器進(jìn)行更新。上述過(guò)程隨著流式數(shù)據(jù)到來(lái)不斷執(zhí)行。本發(fā)明一方面可以利用一階邏輯表達(dá)的領(lǐng)域知識(shí)，使用在線反繹學(xué)習(xí)方法超越傳統(tǒng)在線學(xué)習(xí)方法的性能；另一方面，可快速處理大量流式數(shù)據(jù)，能利用無(wú)標(biāo)記或弱標(biāo)記數(shù)據(jù)，并且還能處理數(shù)據(jù)中可能出現(xiàn)的新類別。

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于在線反繹學(xué)習(xí)的流式數(shù)據(jù)分類方法及其實(shí)現(xiàn)裝置，屬于大規(guī)模數(shù)據(jù)下的人工智能與模式識(shí)別任務(wù)技術(shù)領(lǐng)域。

背景技術(shù)

在線學(xué)習(xí)是一類主流機(jī)器學(xué)習(xí)算法，在流式數(shù)據(jù)、大規(guī)模數(shù)據(jù)等分類任務(wù)中取得了顯著效果，其主要應(yīng)對(duì)大量標(biāo)記數(shù)據(jù)持續(xù)到來(lái)，設(shè)備存儲(chǔ)有限，利用新增訓(xùn)練樣本更新當(dāng)前模型。現(xiàn)有的在線學(xué)習(xí)技術(shù)大都使用數(shù)據(jù)驅(qū)動(dòng)的機(jī)器學(xué)習(xí)模型實(shí)現(xiàn)，具有需要大量標(biāo)注數(shù)據(jù)、難以利用弱標(biāo)注數(shù)據(jù)，以及難以利用領(lǐng)域知識(shí)等不足。

發(fā)明內(nèi)容

發(fā)明目的：針對(duì)現(xiàn)有技術(shù)中存在的問(wèn)題與不足，本發(fā)明提供一種基于在線反繹學(xué)習(xí)的流式數(shù)據(jù)分類方法及其實(shí)現(xiàn)裝置。

技術(shù)方案：一種基于在線反繹學(xué)習(xí)的流式數(shù)據(jù)分類方法，接收流式數(shù)據(jù)，通過(guò)將輸入的流式數(shù)據(jù)放入當(dāng)前學(xué)習(xí)器，從而獲得對(duì)當(dāng)前樣本預(yù)測(cè)的偽標(biāo)記；將預(yù)測(cè)得到的偽標(biāo)記轉(zhuǎn)化為偽事實(shí)，通過(guò)利用知識(shí)庫(kù)和弱標(biāo)記數(shù)據(jù)，執(zhí)行反繹推理操作得到修改后的偽事實(shí)；最后，將修改后的偽事實(shí)轉(zhuǎn)化為偽標(biāo)記，對(duì)學(xué)習(xí)器進(jìn)行更新；上述過(guò)程隨著流式數(shù)據(jù)到來(lái)不斷執(zhí)行；通過(guò)在線反繹學(xué)習(xí)方法針對(duì)流式訓(xùn)練數(shù)據(jù)與知識(shí)庫(kù)同時(shí)存在的情景，對(duì)弱標(biāo)注或無(wú)標(biāo)注數(shù)據(jù)進(jìn)行分類。

所述流式數(shù)據(jù)為無(wú)標(biāo)記或弱監(jiān)督標(biāo)記的流式數(shù)據(jù)。

基于在線反繹學(xué)習(xí)的流式數(shù)據(jù)分類方法流程主要包括三個(gè)部分，隨著數(shù)據(jù)到來(lái)不斷執(zhí)行：

(1)偽標(biāo)記預(yù)測(cè)過(guò)程：取一個(gè)批次的流式數(shù)據(jù)，將所有輸入樣本放進(jìn)學(xué)習(xí)器，獲得對(duì)應(yīng)的樣本的偽標(biāo)記作為輸出。

(2)反繹推理標(biāo)記過(guò)程：通過(guò)將偽標(biāo)記轉(zhuǎn)化為偽事實(shí)輸入知識(shí)庫(kù)，利用邏輯演算驗(yàn)證偽事實(shí)與知識(shí)庫(kù)是否一致。如果一致，則不對(duì)偽標(biāo)記進(jìn)行修改；如果不一致，則嘗試根據(jù)最小化不一致性的原則對(duì)偽事實(shí)進(jìn)行修改，使得修改后的偽事實(shí)與知識(shí)庫(kù)一致，并將其轉(zhuǎn)化為偽標(biāo)記返回給學(xué)習(xí)器。

(3)更新學(xué)習(xí)器過(guò)程：將反繹推理得到的偽標(biāo)記當(dāng)做真實(shí)標(biāo)記，與當(dāng)前批次的樣本一起用于更新學(xué)習(xí)器。

尋找出錯(cuò)的標(biāo)記位置。使用最小化不一致性的原則，換言之，通過(guò)修改最少數(shù)量的偽事實(shí)，使得修改后的事實(shí)盡可能與知識(shí)庫(kù)一致。當(dāng)標(biāo)記數(shù)量大于預(yù)設(shè)數(shù)量時(shí)，該過(guò)程可以采用非梯度優(yōu)化的方法進(jìn)行搜索，當(dāng)標(biāo)記數(shù)量小于預(yù)設(shè)數(shù)量時(shí)，可以直接進(jìn)行窮舉搜索。具體而言，方法會(huì)首先嘗試尋找某一個(gè)偽標(biāo)記對(duì)應(yīng)的事實(shí)，并將其標(biāo)注為可反繹，然后進(jìn)行反繹推理得到修改后與知識(shí)庫(kù)一致的偽事實(shí)；若不存在這樣的事實(shí)，換言之，任意一個(gè)偽事實(shí)修改后都無(wú)法與知識(shí)庫(kù)一致，則方法會(huì)嘗試尋找某兩個(gè)標(biāo)記對(duì)應(yīng)的偽事實(shí)，并將它們標(biāo)注為可反繹并嘗試推理，得到與知識(shí)庫(kù)一致的偽標(biāo)記。若仍不能與知識(shí)庫(kù)一致，則繼續(xù)增加可以修改的標(biāo)記數(shù)量，直到找到能修改后與知識(shí)庫(kù)一致的事實(shí)。

一種基于在線反繹學(xué)習(xí)的流式數(shù)據(jù)分類方法的實(shí)現(xiàn)裝置，包括：一個(gè)處理器，以及與所述一個(gè)處理器耦合的存儲(chǔ)器；所述存儲(chǔ)器存儲(chǔ)領(lǐng)域知識(shí)庫(kù)和指令，當(dāng)所述指令被所述一個(gè)處理器執(zhí)行時(shí)，使得所述一個(gè)處理器執(zhí)行上述的在線反繹學(xué)習(xí)的流式數(shù)據(jù)分類方法。

附圖說(shuō)明

圖1是本發(fā)明方法的分類過(guò)程的流程圖；

圖2是本發(fā)明方法的偽標(biāo)記預(yù)測(cè)流程圖；

圖3是本發(fā)明方法的反繹推理標(biāo)記過(guò)程的流程圖；

圖4是本發(fā)明的裝置的框圖。

具體實(shí)施方式