[發(fā)明專利]基于數(shù)據(jù)增強(qiáng)與知識(shí)蒸餾的可增類行為識(shí)別系統(tǒng)及方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202210216245.2
• 申請(qǐng)日: 2022-03-07
• 公開(kāi)（公告）號(hào): CN114638289A
• 公開(kāi)（公告）日: 2022-06-17
• 發(fā)明（設(shè)計(jì)）人: 殷亞鳳;劉仲;謝磊;陸桑璐
• 申請(qǐng)（專利權(quán)）人: 南京大學(xué)
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06N3/04;G06N3/08
• 代理公司: 江蘇圣典律師事務(wù)所 32237
• 代理人: 賀翔

本發(fā)明公開(kāi)了一種基于數(shù)據(jù)增強(qiáng)與知識(shí)蒸餾的可增類行為識(shí)別系統(tǒng)及方法，包括：數(shù)據(jù)采集單元，用于采集用戶運(yùn)動(dòng)時(shí)的傳感器數(shù)據(jù)；數(shù)據(jù)預(yù)處理單元，輸出經(jīng)過(guò)預(yù)處理后的行為數(shù)據(jù)；存儲(chǔ)單元，用于存儲(chǔ)舊行為類別代表樣本集和舊行為識(shí)別模型；行為識(shí)別單元，用于對(duì)預(yù)處理后的行為數(shù)據(jù)進(jìn)行識(shí)別和分類；增類訓(xùn)練單元，輸出一個(gè)新行為識(shí)別模型；所述新行為識(shí)別模型對(duì)舊行為類別數(shù)據(jù)或新行為類別數(shù)據(jù)進(jìn)行識(shí)別，輸出行為識(shí)別結(jié)果。本發(fā)明在行為識(shí)別的持續(xù)學(xué)習(xí)過(guò)程中，保證了持續(xù)學(xué)習(xí)性能和資源成本優(yōu)勢(shì)；同時(shí)符合現(xiàn)實(shí)生活中用戶行為的動(dòng)態(tài)擴(kuò)張性，對(duì)未知的新類別行為能夠保持可持續(xù)性的增類識(shí)別性能。

技術(shù)領(lǐng)域

本發(fā)明屬于智能感知技術(shù)和人工智能技術(shù)領(lǐng)域，具體指代一種基于數(shù)據(jù)增強(qiáng)與知識(shí)蒸餾的可增類行為識(shí)別系統(tǒng)及方法。

背景技術(shù)

在現(xiàn)實(shí)生活場(chǎng)景中，人們會(huì)有各種各樣的動(dòng)作，這些動(dòng)作對(duì)應(yīng)具體的行為，識(shí)別這些行為，有助于人們記錄自己的生活狀態(tài)，分析行為習(xí)慣，刻畫(huà)人物畫(huà)像。但是采集人物活動(dòng)數(shù)據(jù)需要專用的傳感器，在過(guò)去這是一件麻煩和困難的事情。隨著智能移動(dòng)設(shè)備的快速發(fā)展和普及，人們已經(jīng)養(yǎng)成了隨身攜帶智能移動(dòng)設(shè)備的習(xí)慣，通過(guò)智能移動(dòng)設(shè)備的慣性測(cè)量單元，采集用戶行為數(shù)據(jù)，進(jìn)行行為識(shí)別，為下游任務(wù)服務(wù)。

行為識(shí)別會(huì)根據(jù)活動(dòng)場(chǎng)景的變化變得豐富多彩，比如一個(gè)人從出生開(kāi)始，只會(huì)爬行、翻滾、睡覺(jué)，隨著年齡的增大，逐漸學(xué)會(huì)了走路、吃飯、跑步等，之后還會(huì)看書(shū)、寫(xiě)字、打籃球等。活動(dòng)場(chǎng)景逐漸豐富，需要識(shí)別的行為也越來(lái)越多。傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型只能識(shí)別經(jīng)過(guò)訓(xùn)練的已有的行為類別，但是行為場(chǎng)景和行為種類擁有動(dòng)態(tài)增長(zhǎng)這個(gè)特性。動(dòng)態(tài)增長(zhǎng)的過(guò)程中，之前的活動(dòng)樣本因?yàn)閭€(gè)人隱私問(wèn)題等，變得難以獲取，如何根據(jù)當(dāng)前活動(dòng)樣本，讓模型不遺忘之前已經(jīng)能識(shí)別的行為，還能識(shí)別當(dāng)前新的行為是個(gè)需要解決的問(wèn)題。人們也迫切需要行為識(shí)別模型能擁有持續(xù)性識(shí)別分類能力來(lái)滿足生活場(chǎng)景的變化。

傳統(tǒng)的基于神經(jīng)網(wǎng)絡(luò)的模型被運(yùn)用于增類行為識(shí)別任務(wù)中，往往存在以下幾個(gè)方面的技術(shù)缺陷：

1、已經(jīng)訓(xùn)練好(即舊的)的行為識(shí)別模型往往只能識(shí)別已知的(即舊的)行為類別，而無(wú)法識(shí)別未知的(即新的)行為類別；

2、舊行為數(shù)據(jù)因?yàn)殡[私問(wèn)題難以獲取，僅使用新的行為數(shù)據(jù)訓(xùn)練并更新舊行為識(shí)別模型，會(huì)使模型對(duì)舊領(lǐng)域的識(shí)別任務(wù)出現(xiàn)災(zāi)難性遺忘；

3、隨著需要識(shí)別的行為類別不斷擴(kuò)充，神經(jīng)網(wǎng)絡(luò)模型的參數(shù)量隨之增加。

發(fā)明內(nèi)容

針對(duì)于上述現(xiàn)有技術(shù)的不足，本發(fā)明的目的在于提供一種基于數(shù)據(jù)增強(qiáng)與知識(shí)蒸餾的可增類行為識(shí)別系統(tǒng)及方法，以解決現(xiàn)有動(dòng)態(tài)環(huán)境下行為類別不斷增加，模型無(wú)法準(zhǔn)確識(shí)別新的行為類別的問(wèn)題。

為達(dá)到上述目的，本發(fā)明采用的技術(shù)方案如下：

本發(fā)明的一種基于數(shù)據(jù)增強(qiáng)與知識(shí)蒸餾的可增類行為識(shí)別系統(tǒng)，包括：數(shù)據(jù)采集單元，數(shù)據(jù)預(yù)處理單元，存儲(chǔ)單元，行為識(shí)別單元和增類訓(xùn)練單元；

數(shù)據(jù)采集單元，用于采集用戶運(yùn)動(dòng)時(shí)慣性傳感器三個(gè)軸的加速度計(jì)和三個(gè)軸的陀螺儀數(shù)據(jù)；

數(shù)據(jù)預(yù)處理單元，對(duì)獲取的加速計(jì)數(shù)據(jù)和陀螺儀數(shù)據(jù)進(jìn)行重采樣，裁剪數(shù)據(jù)長(zhǎng)度以及歸一化數(shù)據(jù)的值，輸出經(jīng)過(guò)預(yù)處理后的行為數(shù)據(jù)；

存儲(chǔ)單元，用于存儲(chǔ)舊(即已知的)行為類別代表樣本集和舊(即已訓(xùn)練的)行為識(shí)別模型；

行為識(shí)別單元，用于對(duì)所述預(yù)處理后的行為數(shù)據(jù)進(jìn)行識(shí)別和分類，對(duì)于新行為類別，改變分類器的輸出類別數(shù)，并將新(即未知的)行為類別的樣本和舊行為類別的代表性樣本作為訓(xùn)練樣本，產(chǎn)生一個(gè)增類訓(xùn)練任務(wù)，發(fā)送給增類訓(xùn)練單元；

增類訓(xùn)練單元，獲取存儲(chǔ)單元存儲(chǔ)的舊行為識(shí)別模型，使用新行為類別的樣本以及舊行為類別的部分代表性樣本對(duì)舊行為識(shí)別模型進(jìn)行增類訓(xùn)練，輸出一個(gè)新行為識(shí)別模型；所述新行為識(shí)別模型對(duì)舊行為類別數(shù)據(jù)或新行為類別數(shù)據(jù)進(jìn)行識(shí)別，輸出行為識(shí)別結(jié)果。