[發(fā)明專(zhuān)利]一種基于持續(xù)學(xué)習(xí)的用戶(hù)表情識(shí)別方法和系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202111253733.2
• 申請(qǐng)日: 2021-10-27
• 公開(kāi)（公告）號(hào): CN113822228A
• 公開(kāi)（公告）日: 2021-12-21
• 發(fā)明（設(shè)計(jì)）人: 葉翰嘉;周大蔚;詹德川
• 申請(qǐng)（專(zhuān)利權(quán)）人: 南京大學(xué)
• 主分類(lèi)號(hào): G06K9/00
• 分類(lèi)號(hào): G06K9/00;G06K9/62;G06N5/02;G06N20/00
• 代理公司: 南京樂(lè)羽知行專(zhuān)利代理事務(wù)所(普通合伙) 32326
• 代理人: 李玉平

本發(fā)明公開(kāi)一種基于持續(xù)學(xué)習(xí)的用戶(hù)表情識(shí)別方法和系統(tǒng)，包括數(shù)據(jù)采集步驟，持續(xù)學(xué)習(xí)步驟和用戶(hù)表情測(cè)試步驟；首先收集不同種類(lèi)的用戶(hù)表情，包括特征數(shù)據(jù)和特征的標(biāo)記數(shù)據(jù)；然后利用當(dāng)前用戶(hù)表情種類(lèi)訓(xùn)練一個(gè)模型；在學(xué)習(xí)用戶(hù)新種類(lèi)表情時(shí)采用最優(yōu)輸運(yùn)技術(shù)建立以往表情和新類(lèi)表情的映射關(guān)系，以重用以往的模型；最后利用新收集到的用戶(hù)表情更新已有模型。本發(fā)明可以解決用戶(hù)新舊表情無(wú)法同時(shí)獲得，以及只能利用已有模型和新的用戶(hù)表情建立一個(gè)新模型的難點(diǎn)，并且本發(fā)明實(shí)施過(guò)程中占用資源少，適用性強(qiáng)。

技術(shù)領(lǐng)域

本發(fā)明涉及開(kāi)放動(dòng)態(tài)環(huán)境下隨時(shí)間演進(jìn)用戶(hù)表情種類(lèi)發(fā)生變化情況下的表情識(shí)別方法，具體是一種基于持續(xù)學(xué)習(xí)的跨移動(dòng)設(shè)備用戶(hù)表情識(shí)別方法和系統(tǒng)。

背景技術(shù)

移動(dòng)設(shè)備應(yīng)用常依賴(lài)用戶(hù)表情識(shí)別，比如對(duì)于依賴(lài)用戶(hù)情感的應(yīng)用，可以針對(duì)用戶(hù)不同的表情狀態(tài)為用戶(hù)自適應(yīng)地推薦商品和服務(wù)，從而達(dá)到提高推薦成功率，提升用戶(hù)體驗(yàn)的目的。然而，顯示環(huán)境多是開(kāi)放動(dòng)態(tài)的，不同時(shí)間內(nèi)采集到的用戶(hù)表情數(shù)據(jù)往往會(huì)出現(xiàn)較大的差異，用戶(hù)的表情種類(lèi)往往也會(huì)隨著時(shí)間變化增多，變得更加細(xì)粒度可分。因此，在一段時(shí)間后只能收集到新種類(lèi)的用戶(hù)表情數(shù)據(jù)，那么如何只利用新收集到的用戶(hù)表情輔助當(dāng)前已有的用戶(hù)表情識(shí)別模型，建立一個(gè)囊括所有用戶(hù)表情的分類(lèi)模型則是本項(xiàng)發(fā)明要解決的重要問(wèn)題。

模型重用技術(shù)和持續(xù)學(xué)習(xí)技術(shù)有一定相似之處，但是模型重用技術(shù)側(cè)重于利用以往模型適配新數(shù)據(jù)，而持續(xù)學(xué)習(xí)不僅囊括了新數(shù)據(jù)類(lèi)別的學(xué)習(xí)，同時(shí)要保證模型不會(huì)遺忘之前已經(jīng)學(xué)得的類(lèi)別信息。因此遺忘的模型重用技術(shù)多局限于模型適配數(shù)據(jù)的應(yīng)用場(chǎng)景，不適用于用戶(hù)表情類(lèi)別發(fā)生變化的開(kāi)放動(dòng)態(tài)環(huán)境，尤其是像移動(dòng)設(shè)備用戶(hù)表情種類(lèi)增加的應(yīng)用場(chǎng)景。因此，在移動(dòng)設(shè)備用戶(hù)表情識(shí)別的應(yīng)用場(chǎng)景中需要一種持續(xù)學(xué)習(xí)方法。

發(fā)明內(nèi)容

發(fā)明目的：以往的持續(xù)學(xué)習(xí)技術(shù)用于用戶(hù)表情識(shí)別多關(guān)注于模型線(xiàn)性層標(biāo)準(zhǔn)化和校準(zhǔn)，忽略了用戶(hù)新舊表情之間的語(yǔ)義信息。然而，考慮到現(xiàn)實(shí)環(huán)境的動(dòng)態(tài)開(kāi)放性，本發(fā)明提供一種借助于用戶(hù)表情間語(yǔ)義信息，利用以往模型輔助新任務(wù)的用戶(hù)表情識(shí)別方法和系統(tǒng)。具體來(lái)說(shuō)，首先收集用戶(hù)的舊表情，并建立分類(lèi)模型。一段時(shí)間后收集用戶(hù)新出現(xiàn)的表情數(shù)據(jù)，并采用最優(yōu)輸運(yùn)技術(shù)完成模型線(xiàn)性層復(fù)用，生成適用新種類(lèi)用戶(hù)表情的線(xiàn)性分類(lèi)層。最后在新表情數(shù)據(jù)上利用知識(shí)蒸餾技術(shù)和交叉熵?fù)p失訓(xùn)練模型，從而完成僅利用用戶(hù)新表情數(shù)據(jù)和以往模型，持續(xù)學(xué)得一個(gè)囊括所有用戶(hù)表情類(lèi)別的表情識(shí)別模型。

技術(shù)方案：一種基于持續(xù)學(xué)習(xí)的用戶(hù)表情識(shí)別方法，包括如下內(nèi)容：

數(shù)據(jù)收集：收集用戶(hù)表情信息的特征數(shù)據(jù)和對(duì)應(yīng)表情標(biāo)記。

持續(xù)學(xué)習(xí)：采用知識(shí)蒸餾技術(shù)和最優(yōu)輸運(yùn)技術(shù)完成模型持續(xù)學(xué)習(xí)。

用戶(hù)表情識(shí)別預(yù)測(cè)：在用戶(hù)新收集到的表情數(shù)據(jù)上建立一個(gè)新的模型；利用建立好的模型對(duì)用戶(hù)表情進(jìn)行分類(lèi)。

所述數(shù)據(jù)收集的實(shí)現(xiàn)包括如下步驟：

步驟100，收集設(shè)備中當(dāng)前存儲(chǔ)的用戶(hù)表情數(shù)據(jù)，記為目前已有的舊類(lèi)別表情數(shù)據(jù)；

步驟101，收集設(shè)備中用戶(hù)的舊表情數(shù)據(jù)的對(duì)應(yīng)標(biāo)記；

步驟102，在與步驟100中的用戶(hù)表情數(shù)據(jù)的不同場(chǎng)景下，收集設(shè)備中用戶(hù)在這個(gè)新場(chǎng)景下的表情數(shù)據(jù)，記為新類(lèi)別表情數(shù)據(jù)；

步驟103，收集設(shè)備中用戶(hù)在新場(chǎng)景下的新類(lèi)別表情數(shù)據(jù)的對(duì)應(yīng)標(biāo)記。

所述設(shè)備指的是移動(dòng)設(shè)備。

持續(xù)學(xué)習(xí)的實(shí)現(xiàn)包括如下步驟：

步驟200，利用舊類(lèi)別表情的樣本訓(xùn)練一個(gè)分類(lèi)模型M0，分類(lèi)模型M0輸入是舊類(lèi)別表情數(shù)據(jù)，輸出是表情種類(lèi)分類(lèi)；