[發(fā)明專利]一種基于對抗訓(xùn)練的自監(jiān)督行為識別方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202210340188.9
• 申請日: 2022-04-01
• 公開（公告）號: CN114821398A
• 公開（公告）日: 2022-07-29
• 發(fā)明（設(shè)計(jì)）人: 胡建國;黎昱彤;張?jiān)?/a>;楊學(xué)彬;盧星宇;吳勁
• 申請（專利權(quán)）人: 中山大學(xué);中山大學(xué)深圳研究院
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06N20/00
• 代理公司: 廣東廣盈專利商標(biāo)事務(wù)所(普通合伙) 44339
• 代理人: 李俊

1.一種基于對抗訓(xùn)練的自監(jiān)督行為識別方法，其特征在于，所述基于對抗訓(xùn)練的自監(jiān)督行為識別方法包括：

抽取視頻數(shù)據(jù)，輸入標(biāo)準(zhǔn)化流模型；

對視頻數(shù)據(jù)進(jìn)行攻擊處理，得到對抗視頻；

計(jì)算視頻數(shù)據(jù)以及對抗視頻在學(xué)習(xí)模式下的對抗損失；

基于對抗損失更新標(biāo)準(zhǔn)化流模型的期望值參數(shù)，并判斷是否完成更新；

若是，則基于標(biāo)準(zhǔn)化流模型配合期待值參數(shù)生成對抗樣本；

將對抗樣本輸入對比學(xué)習(xí)中。

2.根據(jù)權(quán)利要求1所述的基于對抗訓(xùn)練的自監(jiān)督行為識別方法，其特征在于，所述抽取視頻數(shù)據(jù)，包括：

抽取一個(gè)batch的視頻數(shù)據(jù)，記為xi，將視頻數(shù)據(jù)輸入至標(biāo)準(zhǔn)化流模型，并設(shè)定更新數(shù)學(xué)期望值參數(shù)次數(shù)。

3.根據(jù)權(quán)利要求1所述的基于對抗訓(xùn)練的自監(jiān)督行為識別方法，其特征在于，所述對視頻數(shù)據(jù)進(jìn)行攻擊處理，包括：

在視頻數(shù)據(jù)中隨機(jī)提取一幀，通過標(biāo)準(zhǔn)化流模型生成像素，加入到整個(gè)視頻的每一幀，得到對抗視頻。

4.根據(jù)權(quán)利要求1所述的基于對抗訓(xùn)練的自監(jiān)督行為識別方法，其特征在于，所述計(jì)算視頻數(shù)據(jù)以及對抗樣本在學(xué)習(xí)模式下的對抗損失，包括：

對抗損失的計(jì)算公式為：

L(x’)＝max(0，logC(x’)_y-maxlogC(x’)_c)，c≠y

其中x’表示收到了對抗攻擊的輸入樣本，C()代表分類器，logC(x’)_y表示分類器對于第y項(xiàng)即正確項(xiàng)的輸出得分，maxlogC(x’)_c表示在所有的類的得分中最大的一個(gè)。

5.根據(jù)權(quán)利要求1所述的基于對抗訓(xùn)練的自監(jiān)督行為識別方法，其特征在于，所述基于對抗損失更新標(biāo)準(zhǔn)化流模型的期望值參數(shù)，包括：

利用自然選擇策略反復(fù)更新期望值參數(shù)；

根據(jù)懶人定理在此場景此下自然選擇策略的損失函數(shù)公式表示為：

式中，J(μ，σ)代表在自然選擇策略中的損失，projs代表為了符合對抗攻擊不可見性的要求，把生成的對抗樣本投影的相應(yīng)的空間中；本公式右邊的部分代表當(dāng)z向量服從z～N(z|μ，σ²I)分布的條件下，k個(gè)z向量在輸入標(biāo)準(zhǔn)化流模型f()后，在加上projs的限制生成的對抗樣本，在分類器中得到的k的損失L的數(shù)學(xué)期望；

對以上公式使用最大似然估計(jì)法，可以求出J(μ，σ)的雅各比行列式：

式中，為J(μ，σ)的雅各比行列式，I為單位矩陣，μ為期望值參數(shù)，σ為超參數(shù)；

接下來，通過以下公式更新期望值參數(shù)μ：

式中，α是一個(gè)經(jīng)驗(yàn)系數(shù)，I為單位矩陣，μ為期望值參數(shù)，σ為超參數(shù)。

6.根據(jù)權(quán)利要求4所述的基于對抗訓(xùn)練的自監(jiān)督行為識別方法，其特征在于，所述判斷是否完成更新，包括：

根據(jù)對抗損失以及預(yù)設(shè)的更新數(shù)學(xué)期望值參數(shù)次數(shù)判斷是否完成對期望值參數(shù)更新；

若對抗損失L(x’)＝0時(shí)，則判斷數(shù)學(xué)期望值參數(shù)μ完成更新，進(jìn)行下一步驟；

若對抗損失L(x’)≠0，且未達(dá)到預(yù)設(shè)數(shù)學(xué)期望值參數(shù)次數(shù)時(shí)，則判斷未完成數(shù)學(xué)期望值參數(shù)μ的更新，重新對視頻數(shù)據(jù)進(jìn)行攻擊處理；

若對抗損失L(x’)≠0，且達(dá)到數(shù)學(xué)期望值參數(shù)次數(shù)時(shí)，則判斷為數(shù)學(xué)期望值參數(shù)μ完成更新，進(jìn)行下一步驟。

7.根據(jù)權(quán)利要求5所述的基于對抗訓(xùn)練的自監(jiān)督行為識別方法，其特征在于，所述基于標(biāo)準(zhǔn)化流模型配合期待值參數(shù)生成對抗樣本，包括：

在生成對抗樣本的過程中，利用標(biāo)準(zhǔn)化流模型，從隨機(jī)向量z中生成對抗樣本x’，其中隨機(jī)向量z服從z～N(z|μ，σ²I)，對抗樣本公式為：

x’＝(projs(f(z))，z～N(z|μ，σ²I)。

式中，I為單位矩陣，μ為期望值參數(shù)，σ為超參數(shù)。