[發明專利]一種基于對抗訓練的自監督行為識別方法及系統

在審

• 申請號: 202210340188.9
• 申請日: 2022-04-01
• 公開（公告）號: CN114821398A
• 公開（公告）日: 2022-07-29
• 發明（設計）人: 胡建國;黎昱彤;張月;楊學彬;盧星宇;吳勁
• 申請（專利權）人: 中山大學;中山大學深圳研究院
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06N20/00
• 代理公司: 廣東廣盈專利商標事務所(普通合伙) 44339
• 代理人: 李俊

本發明公開了一種基于對抗訓練的自監督行為識別方法及系統，該基于對抗訓練的自監督行為識別方法包括：抽取視頻數據，輸入標準化流模型；對視頻數據進行攻擊處理，得到對抗視頻；計算視頻數據以及對抗視頻在學習模式下的對抗損失；基于對抗損失更新標準化流模型的期望值參數，并判斷是否完成更新；若是，則基于標準化流模型配合期待值參數生成對抗樣本；將對抗樣本輸入對比學習中。本發明基于標準化流的對抗攻擊對樣本進行攻擊，并且把受到攻擊的樣本也作為正樣本的一種，加入到對比學習的訓練之中進行對抗訓練，從而提高模型的準確度和魯棒性。

技術領域

本發明涉及視頻處理技術領域，具體涉及一種基于對抗訓練的自監督行為識別方法及系統。

背景技術

我們注意到在目前的行為識別任務中，模型存在過于依賴空間信息的缺陷。我們認為行為識別應該關注動作本身(比如游泳動作)，而不是通過一些相關的背景(比如泳池)來識別一個動作。然而由于現存的數據集中，許多動作都會與特定的場景同時出現，相當于數據集存在著天然的偏差。利用這種帶有偏差的數據集對模型進行訓練，會導致訓練好的模型在判斷某些難例時表現變差。

除此之外，在對比學習的模式下，數據增強的方法會影響模型的預訓練效果，因此探索更多有效的數據增強方式是很有意義的。綜上，提出一種基于對抗訓練的自監督行為識別方法及系統。

發明內容

本發明的目的在于克服現有技術的不足，本發明提供了一種基于對抗訓練的自監督行為識別方法及系統，基于標準化流的對抗攻擊對樣本進行攻擊，并且把受到攻擊的樣本也作為正樣本的一種，加入到對比學習的訓練之中進行對抗訓練，從而提高模型的準確度和魯棒性。

為了解決上述技術問題，本發明實施例提供一種基于對抗訓練的自監督行為識別方法，所述基于對抗訓練的自監督行為識別方法包括：

抽取視頻數據，輸入標準化流模型；

對視頻數據進行攻擊處理，得到對抗視頻；

計算視頻數據以及對抗視頻在學習模式下的對抗損失；

基于對抗損失更新標準化流模型的期望值參數，并判斷是否完成更新；

若是，則基于標準化流模型配合期待值參數生成對抗樣本；

將對抗樣本輸入對比學習中。

優選的，所述抽取視頻數據，包括：

抽取一個batch的視頻數據，記為x_i，將視頻數據輸入至標準化流模型，并設定更新數學期望值參數次數。

優選的，所述對視頻數據進行攻擊處理，包括：

在視頻數據中隨機提取一幀，通過標準化流模型生成像素，加入到整個視頻的每一幀，得到對抗視頻。

優選的，所述計算視頻數據以及對抗樣本在學習模式下的對抗損失，包括：

對抗損失的計算公式為：

L(x’)＝max(0,logC(x’)_y-max logC(x’)_c),c≠y

其中x’表示收到了對抗攻擊的輸入樣本，C()代表分類器，logC(x’)_y表示分類器對于第y項即正確項的輸出得分，maxlogC(x’)_c表示在所有的類的得分中最大的一個。

優選的，所述基于對抗損失更新標準化流模型的期望值參數，包括：

利用自然選擇策略反復更新期望值參數；

根據懶人定理在此場景此下自然選擇策略的損失函數公式表示為：