[發明專利]一種運行在邊緣設備上的視頻隱私數據模糊化方法

在審

• 申請號: 202110265858.0
• 申請日: 2021-03-11
• 公開（公告）號: CN112927127A
• 公開（公告）日: 2021-06-08
• 發明（設計）人: 張澤華;李向陽;高煥麗;羅家祥
• 申請（專利權）人: 華南理工大學
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T7/277;G06T7/246;G06T7/215;G06K9/34
• 代理公司: 北京中濟緯天專利代理有限公司 11429
• 代理人: 謝建華

本發明公開了一種運行在邊緣設備上的視頻隱私數據模糊化方法，包括算法模型設計及算法模型搭建、模型優化、模型量化及加速、模型遷移至移動端設備運行；本發明的有益效果是：提供一種運算資源需求低，運算速度快，可以在移動端上運行，不依賴其他服務器資源的隱私自動模糊系統，保護公開視頻中他人的隱私；采用多目標跟蹤算法跟蹤對象，可以實現指定模糊對象或記錄指定目標的運動軌跡；使用TensorRT對算法模型進行量化及優化加速，降低部署難度，同時算法運行時，采用三個線程分別處理預處理、模型推理和后處理三個部分，以提高運行效率。

技術領域

本發明屬于計算機視覺技術領域，具體涉及一種運行在邊緣設備上的視頻隱私數據模糊化方法。

背景技術

監控及其他攝像設備的應用范圍越來越廣泛，如小區的監控設備、或廚房環境通過攝像頭公開、或者需要通過攝像采集視頻然后上傳網上公布；與此同時，人們對隱私保護也日益重視，廚房的監控公開雖然能幫助人們對廚房衛生環境進行監督，但同時也導致了廚師們的隱私泄露；將視頻發布在網上是一種高效的傳播途徑，同時網絡數據的高效傳播性和可搜索性也更加容易造成視頻中他人的隱私泄露。

現有的處理方式主要為后期脫敏處理，而后期脫敏需要耗費人力處理，而且后期處理不適用于在線監控設備，同時其處理方式大多為逐幀處理，效率較低。

計算機視覺技術中分割技術能較快速的得出視頻中所有人的掩膜，分割技術可以分為語義分割技術與實例分割技術；但語義分割與實例分割不同的是，語義分割是指像素級的分類，將圖像中每一個像素點進行分類，以人為例，即判斷每個像素點是否是人的一部分；實例分割是在語義分割的基礎上進一步的區分，不僅區分人與背景，同時能區分人與人；因此語義分割可以做到快速的分割，但不夠靈活，且當目標對象相對圖像占比不大時，其分割精度較低，實例分割技術較為靈活，但其計算量也更大，需要做更多的處理才能在低算力設備上運行；同時實例級別的處理可以方便的加入目標跟蹤技術。

卷積神經網絡能實現較高精度的實例分割，但實例分割其運算量巨大，大多只能在服務器端運行，很難直接部署到移動端設備上；而隨著社會的高速發展，攝像設備的數目也呈爆發性增長；很難單靠服務器來處理大規模的實例分割算法，同時采用服務器處理在視頻數據上傳的過程中本身就存在隱私泄漏的風險，因此需要一種能在邊緣設備上進行邊緣計算的方法，來實時的處理這些數據，其中邊緣計算，是指在靠近物或數據源頭的一側，其應用程序在邊緣設備上運行，產生更快的服務響應，滿足實時業務。

為了降低運算資源需求，不依賴其他服務器資源，保護公開視頻中他人的隱私，實現指定模糊對象或記錄指定目標的運動軌跡，為此我們提出一種運行在邊緣設備上的視頻隱私數據模糊化方法。

發明內容

本發明的目的在于提供一種運行在邊緣設備上的視頻隱私數據模糊化方法，降低運算資源需求，不依賴其他服務器資源，保護公開視頻中他人的隱私，實現指定模糊對象或記錄指定目標的運動軌跡。

為實現上述目的，本發明提供如下技術方案：一種運行在邊緣設備上的視頻隱私數據模糊化方法，包括算法模型搭建和模型運行，所述方法如下：

步驟一：模型初始化，包括根據配置文件搭建模型、對訓練好的模型優化加速、初始化跟蹤器；

步驟二：獲取視頻序列，并導入到運行平臺中；

步驟三：采用輕量型網絡及FPN結構進行特征提取；

步驟四：通過實例分割算法獲取圖像的檢測結果和實例掩膜；

步驟五：通過多目標跟蹤算法為檢測到的每個對象分配一個ID；

步驟六：通過ID控制對象是否進行模糊處理。

作為本發明的一種優選的技術方案，所述步驟一中，優化加速方法為：先將PyTorch模型轉為中間格式文件ONNX后，再由TensorRT優化加速。