[發明專利]一種基于對抗攻擊的多媒體隱私保護方法、裝置及設備

有效

• 申請號: 202110360515.2
• 申請日: 2021-04-02
• 公開（公告）號: CN113076557B
• 公開（公告）日: 2022-05-20
• 發明（設計）人: 王勇濤;黃灝;湯幟
• 申請（專利權）人: 北京大學
• 主分類號: G06F21/62
• 分類號: G06F21/62;G06N3/04;G06N3/08;G06T1/00
• 代理公司: 北京萬象新悅知識產權代理有限公司 11360
• 代理人: 賈曉玲

本發明公布了一種基于對抗攻擊的多媒體隱私保護方法、裝置及設備，方法包括以下步驟：獲得對多媒體樣本進行侵犯的神經網絡模型和原始訓練數據；根據神經網絡模型針對的任務類型設計出不同的損失函數，利用損失函數的值對任一原始訓練數據加上首次隨機擾動求梯度，得到第一次對抗擾動；循環將原始訓練數據加上第一次對抗擾動后輸入到所述神經網絡模型中進行計算，得到輸出訓練數據，再次利用損失函數計算損失，將損失回傳求梯度，得到本次對抗擾動；當得到對應的輸出訓練數據與輸入原始訓練數據差距變大時，保存對抗擾動結果；將對抗擾動結果作為保護水印疊加到軟件端上傳或硬件端生成的多媒體內容上，主動保護該多媒體內容不被惡意利用或篡改。

技術領域

本發明屬于人工智能安全領域，涉及計算機視覺、對抗樣本生成及深度學習技術。

背景技術

近年來各種多媒體平臺不斷涌現，互聯網上多媒體內容的規模呈爆發式增長的狀態。多媒體內容的隱私保護問題也逐漸被重視起來。目前，侵犯多媒體內容的方式主要有兩種：

1、未經許可，私自檢測或者識別多媒體內容。例如，某售樓部檢測并識別顧客的車輛和顧客的人臉，未經許可采集顧客信息做商業使用。

2、未經許可，私自篡改多媒體內容。例如，某公司私自使用DeepFake技術在某段視頻中對某公眾人物與其他人物進行“換臉”，刻意損害公眾人物的利益。

對于第一種方式，其主要使用了基于深度學習的檢測技術和人臉識別技術。考慮到人臉識別需要基于人臉檢測技術，因此我們主要考慮檢測技術。近年來，隨著深度神經網絡技術的飛速發展，基于深度學習的檢測技術和識別技術取得了重大的突破。基于深度學習的對抗物體檢測技術因其網絡結構的不同主要分為單階段檢測器(One-stageDetector)例如YOLO(You Only Look Once:Unified,Real-Time Object Detection)系列和兩階段檢測器(Two-stage Detector)例如Faster R-CNN(Faster R-CNN:Towards Real-Time Object Detection with Region Proposal Networks)。對抗物體檢測技術可以快速檢測出圖片或視頻中的物體，輸出其類別和位置，該技術已廣泛運用到自動駕駛、視頻監控等領域。

對于第二種方式，其主要使用了基于深度學習的多媒體內容篡改技術。自從GAN(Generative Adversarial Network)被提出以來，深度學習模型可以很好的學習圖片到圖片的映射，很多圖片篡改技術應運而生。Cycle GAN(Unpaired Image-to-ImageTranslation using Cycle-Consistent Adversarial Networks)可以對不同風格的圖像進行風格遷移。基于此框架Star GAN(StarGAN:Unified Generative AdversarialNetworks for Multi-Domain Image-to-Image Translation)可以由一張原始人臉圖片生成不同面部特征和表情的人臉篡改圖像。GANimation(GANimation:Anatomically-awareFacial Animation from a Single Image)可以由一張原始人臉圖片生成不同情緒的篡改圖像，并且這些情緒的強烈程度可以被量化并在生成時被設定。基于深度學習技術對人體圖像合成的技術稱之為DeepFake，其在2017年時出現，因其生成的內容過于逼真，使用該技術生成的虛假色情視頻、虛假新聞等篡改內容造成了很大的社會危害。政府和業界均對此技術的使用做出了限制，目前主要的限制手段是通過檢測器檢測出DeepFake視頻，并不能主動對多媒體內容進行隱私保護。

發明內容

針對多媒體內容篡改技術帶來的隱私問題和社會危害，一方面，本發明提出了一種基于對抗攻擊的多媒體隱私保護方法，并提出了具體的實施方式和場景，包括以下步驟：

獲得對多媒體樣本進行侵犯的神經網絡模型和原始訓練數據；