[發(fā)明專利]一種具有可解釋性的圖像隱私檢測方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110723826.0
• 申請(qǐng)日: 2021-06-29
• 公開（公告）號(hào): CN113378859B
• 公開（公告）日: 2022-07-15
• 發(fā)明（設(shè)計(jì)）人: 張?zhí)m;于海闊;李向陽
• 申請(qǐng)（專利權(quán)）人: 中國科學(xué)技術(shù)大學(xué)
• 主分類號(hào): G06V10/44
• 分類號(hào): G06V10/44;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08;G06F16/951
• 代理公司: 安徽省合肥新安專利代理有限責(zé)任公司 34101
• 代理人: 陸麗莉

1.一種具有可解釋性的圖像隱私檢測方法，其特征是按如下步驟進(jìn)行：

步驟1，構(gòu)造隱私分類的數(shù)據(jù)集；

步驟1.1，利用網(wǎng)絡(luò)爬蟲收集社交平臺(tái)上脫敏處理后的N張打碼圖像；

步驟1.2，標(biāo)注每張打碼圖像中所有物體和背景的邊框信息和類別，從而得到N張打碼圖像的物體類別數(shù)為K；

步驟1.3，對(duì)每張打碼圖像中物體和背景，若其經(jīng)過脫敏處理，則標(biāo)注為1，否則標(biāo)注為0，從而完成每張打碼圖像中物體的隱私分類，并得到脫敏圖像數(shù)據(jù)集D；

步驟2，抽取圖像中所包含的語義信息；

步驟2.1，基于脫敏圖像數(shù)據(jù)集D對(duì)faster-rcnn模型進(jìn)行訓(xùn)練，得到目標(biāo)檢測模型M₁；

任意一輸入圖像I經(jīng)過所述目標(biāo)檢測模型M₁后輸出檢測結(jié)果M₁(I)＝{o₁,o₂,…,o_i,…,o_n}，其中，o_i表示包含邊框信息B_i和分類的置信概率的第i個(gè)物體信息，n表示目標(biāo)檢測模型M₁在輸入圖像I上檢測的物體個(gè)數(shù)，i∈[1,n]；

步驟2.2，基于place365數(shù)據(jù)集對(duì)vgg模型進(jìn)行訓(xùn)練，得到背景分類模型M₂；

任意一輸入圖像I經(jīng)過背景分類模型M₂后輸出背景分類結(jié)果M₂(I)＝{s₁,f₁}，其中，s₁表示背景分類的置信概率，f₁表示背景分類模型輸出的特征向量；

步驟3，構(gòu)建輸入圖像I對(duì)應(yīng)的加權(quán)有向圖G_I＝{V_I,E_I}；

步驟3.1構(gòu)造節(jié)點(diǎn)集合V_I：

對(duì)于第i個(gè)物體信息o_i，構(gòu)建相應(yīng)的嵌入向量并作為相應(yīng)的節(jié)點(diǎn)從而得到n個(gè)節(jié)點(diǎn){v₁,v₂,…,v_n}；其中，表示第i個(gè)物體信息o_i對(duì)應(yīng)的長度為K的置信概率向量，表示第i個(gè)物體信息o_i對(duì)第K個(gè)類別的置信概率，表示第i個(gè)物體信息o_i對(duì)應(yīng)的邊框信息，表示邊框的中心點(diǎn)在輸入圖像I的像素矩陣中的坐標(biāo)，表示邊框的相對(duì)大小；

利用如式(1)所示的多層感知機(jī)將置信概率s₁和特征向量f₁映射到一個(gè)長度為K+3的背景節(jié)點(diǎn)v_n+1中，從而得到節(jié)點(diǎn)集合V_I＝{v₁,v₂,…,v_n+1}；

v_n+1＝(s₁||f₁)×W_n+1 (1)

式(1)中，W_n+1表示多層感知機(jī)的參數(shù)矩陣，·||·表示向量的拼接；

步驟3.2構(gòu)造鄰接矩陣E_I；

計(jì)算任意第i個(gè)節(jié)點(diǎn)v_i的邊框box_i和第j個(gè)節(jié)點(diǎn)v_j的box_j是否重合，若重合，則利用式(2)計(jì)算重合的像素面積S(box_i∩box_j)占據(jù)邊框box_i面積的比例E_I[i,j]，若沒有重合，則令比例E_I[i,j]＝0；從而得到鄰接矩陣E_I＝{E_I[i,j]|i＝1,2,…,n；j＝1,2,…,n}；

式(2)中，S表示像素面積；

步驟4，構(gòu)建由l₁層圖卷積層和l₂層感知機(jī)組成的圖神經(jīng)網(wǎng)絡(luò)M₃，并基于脫敏圖像數(shù)據(jù)集D進(jìn)行訓(xùn)練，從而利用圖神經(jīng)網(wǎng)絡(luò)M₃得到加權(quán)有向圖G_I＝{V_I,E_I}中每個(gè)節(jié)點(diǎn)的二分類輸出；

步驟4.1利用式(3)構(gòu)建圖卷積層：

h_m+1＝σ(E_Ih_mw_m),0≤m≤l₁-1 (3)

式(3)中，l₁表示卷積層的個(gè)數(shù)，h_m表示第m層圖卷積層的特征向量，w_m表示第m層圖卷積層的參數(shù)矩陣；σ表示激活函數(shù)；當(dāng)m＝0時(shí)，

步驟4.2利用式(4)構(gòu)建l₂層感知機(jī)，令每一個(gè)節(jié)點(diǎn)共享一個(gè)參數(shù)矩陣，從而得到如式(5)所示的多層感知機(jī)的輸出O；

式(4)和式(5)中，表示第k層感知機(jī)的特征向量，表示第k層感知機(jī)的參數(shù)矩陣，表示第k+1層感知機(jī)的特征向量，表示第l₂層感知機(jī)的特征向量，l₂表示多層感知機(jī)的層數(shù)，sig()表示sigmoid函數(shù)，用于輸出每個(gè)節(jié)點(diǎn)的二分類結(jié)果；

步驟4.3，利用式(6)構(gòu)建損失函數(shù)L(θ)：

式(6)中，O(v_i)表示第i個(gè)節(jié)點(diǎn)v_i的分類結(jié)果；θ表示圖神經(jīng)網(wǎng)絡(luò)M₃的參數(shù)，且y_i表示第i個(gè)節(jié)點(diǎn)v_i的隱私分類標(biāo)注值；

步驟4.4，基于脫敏圖像數(shù)據(jù)集D并利用梯度下降方法對(duì)損失函數(shù)L(θ)進(jìn)行訓(xùn)練，直到模型收斂為止，從而得到訓(xùn)練好的圖神經(jīng)網(wǎng)絡(luò)M₃，并輸出加權(quán)有向圖G_I＝{V_I,E_I}中每個(gè)節(jié)點(diǎn)的二分類結(jié)果；

步驟5，使用訓(xùn)練好的圖神經(jīng)網(wǎng)絡(luò)M₃確定輸入圖像I的打碼像素區(qū)域；

步驟5.1，若第i個(gè)節(jié)點(diǎn)v_i的分類結(jié)果O(v_i)大于所設(shè)定的閾值，則表示第i個(gè)節(jié)點(diǎn)v_i為隱私節(jié)點(diǎn)，否則，表示第i個(gè)節(jié)點(diǎn)v_i為非隱私節(jié)點(diǎn)；

步驟5.2，假設(shè)第i個(gè)節(jié)點(diǎn)v_i為隱私節(jié)點(diǎn)，若i∈[1,n]，則利用第i個(gè)節(jié)點(diǎn)v_i對(duì)應(yīng)的邊框信息確定出打碼區(qū)域；若i＝n+1，則表示第i個(gè)節(jié)點(diǎn)v_i為背景節(jié)點(diǎn)，則將打碼區(qū)域標(biāo)注為整張輸入圖像I中除去{B₁,B₂,…,B_n}所包含物體的邊框后剩下的像素區(qū)域；

步驟6，生成隱私規(guī)則：

步驟6.1，利用式(7)構(gòu)建加權(quán)有向圖G_I＝{V_I,E_I}中第i個(gè)節(jié)點(diǎn)v_i的符號(hào)向量sv_i：

式(7)中，sv[j]表示第i個(gè)節(jié)點(diǎn)v_i的第j個(gè)值的符號(hào)，v_i[j]表示第i個(gè)節(jié)點(diǎn)v_i的第j個(gè)值；

步驟6.2，利用式(8)求解分類結(jié)果對(duì)于第i個(gè)節(jié)點(diǎn)v_i節(jié)點(diǎn)的梯度向量gv_i：

式(8)中，gv[j]表示第i個(gè)節(jié)點(diǎn)v_i的第j個(gè)值的梯度；

步驟6.3，利用式(9)求解第i個(gè)節(jié)點(diǎn)v_i對(duì)于分類結(jié)果的重要性Im(v_i)：

步驟6.4，若Im(v_i)大于所設(shè)定的隱私閾值τ，則表示第i個(gè)節(jié)點(diǎn)v_i為隱私相關(guān)的節(jié)點(diǎn)；

步驟6.5，利用式(10)構(gòu)建加權(quán)有向圖G_I＝{V_I,E_I}中邊的符號(hào)矩陣se：

式(10)中，se[i,j]表示第i個(gè)節(jié)點(diǎn)v_i和第j個(gè)節(jié)點(diǎn)v_j的邊的符號(hào)；

步驟6.6，利用式(11)求解分類結(jié)果對(duì)于每一條邊的梯度矩陣ge：

式(11)中，ge[i,j]表示第i個(gè)節(jié)點(diǎn)v_i和第j個(gè)節(jié)點(diǎn)v_j的邊的梯度；

步驟6.7，利用式(12)求解隱私節(jié)點(diǎn)之間的隱私相關(guān)的邊的鄰接矩陣Ime(E_I)：

Ime(E_I)＝se·ge (12)

步驟6.8，令隱私子圖SG_I＝{{v_i|Im(v_i)≥τ，1≤i≤n},Ime(E_I)}為輸入圖像I的隱私規(guī)則；

步驟7，由打碼像素區(qū)域和隱私規(guī)則共同作為輸入圖像I的隱私檢測結(jié)果。