[發(fā)明專利]基于深度學(xué)習(xí)的圖像隱私信息保護(hù)系統(tǒng)及其方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110158030.5
• 申請(qǐng)日: 2021-02-04
• 公開（公告）號(hào): CN112906047B
• 公開（公告）日: 2023-02-07
• 發(fā)明（設(shè)計(jì)）人: 任杰;侯佳樂;白茹雪;段帥
• 申請(qǐng)（專利權(quán)）人: 陜西師范大學(xué)
• 主分類號(hào): G06F21/62
• 分類號(hào): G06F21/62;G06V10/764;G06V10/774
• 代理公司: 西安西達(dá)專利代理有限責(zé)任公司 61202
• 代理人: 劉華

1.基于深度學(xué)習(xí)的圖像隱私信息保護(hù)方法，其特征在于，包括以下步驟：

步驟S1，數(shù)據(jù)上傳模塊采集客戶端上傳到服務(wù)器端的圖像、視頻信息以及隱私信息所屬類別；

步驟S2，基于深度學(xué)習(xí)模塊，根據(jù)步驟S1采集內(nèi)容，遍歷圖像及視頻中的像素塊，識(shí)別出其中包含的隱私保護(hù)對(duì)象；

步驟S3，信息隱匿模塊基于高斯濾波，根據(jù)步驟S1采集內(nèi)容，步驟S2識(shí)別結(jié)果，對(duì)指定的隱私保護(hù)對(duì)象進(jìn)行模糊化處理；

步驟S4，客戶端通過數(shù)據(jù)下載模塊選擇所需的、經(jīng)步驟S3處理后的圖像及視頻下載到本地；

所述的步驟S1，具體做法是：

步驟S11，服務(wù)器端通過處理程序讀取客戶端上傳的圖像及視頻信息；

步驟S12，服務(wù)器端通過處理程序讀取客戶端所選擇的隱私保護(hù)對(duì)象；

所述的步驟S2，具體做法是：

步驟S21，人工選取部分常見隱私保護(hù)對(duì)象，采集大量其在不同場(chǎng)景下的照片；

步驟S22，手工遍歷所采集的數(shù)據(jù)集，刪除不可用的圖片，利用LabelImg，對(duì)可用數(shù)據(jù)集中的隱私保護(hù)對(duì)象進(jìn)行手動(dòng)標(biāo)記；

步驟S23，利用格式轉(zhuǎn)換代碼，將已標(biāo)記的圖片轉(zhuǎn)換為xml文件，傳入深度學(xué)習(xí)模型中，選取合適的參數(shù)，訓(xùn)練得到在測(cè)試集上的準(zhǔn)確率大于95%的模型；

步驟S24，將步驟S1所采集的照片及視頻傳入步驟S23所訓(xùn)練的模型，訓(xùn)練好的模型對(duì)照片及視頻中含有的隱私對(duì)象進(jìn)行識(shí)別，并返回隱私對(duì)象位置信息；

所述的步驟S3，具體做法是：

步驟S31，根據(jù)步驟S2所識(shí)別的隱私對(duì)象位置信息，利用數(shù)學(xué)公式對(duì)識(shí)別區(qū)域的尺寸進(jìn)行確定，尺寸為長(zhǎng)、寬，如公式（1）所示：

（1）

其中，為識(shí)別區(qū)域長(zhǎng)度，為識(shí)別區(qū)域?qū)挾龋瑸樽R(shí)別區(qū)域左上角橫坐標(biāo)，為識(shí)別區(qū)域左上角縱坐標(biāo)，為識(shí)別區(qū)域右下角橫坐標(biāo)，為識(shí)別區(qū)域右下角縱坐標(biāo)；

步驟S32，根據(jù)步驟S31所確定的隱私保護(hù)對(duì)象位置信息，以及人為設(shè)置的高斯核標(biāo)準(zhǔn)差，將像素點(diǎn)對(duì)應(yīng)坐標(biāo)及高斯核標(biāo)準(zhǔn)差代入所選高斯核函數(shù)，如公式（2）所示，對(duì)隱私對(duì)象進(jìn)行模糊化處理：

（2）

其中為圖像中像素點(diǎn)的橫坐標(biāo)，為圖像中像素點(diǎn)的縱坐標(biāo)，為高斯核標(biāo)準(zhǔn)差，e為自然常數(shù)，遍歷所選區(qū)域的各個(gè)像素點(diǎn)，對(duì)其進(jìn)行高斯變換，達(dá)到模糊化處理的目標(biāo)；

所述的步驟S4，服務(wù)器端將處理過后的照片及視頻返回給客戶端，用戶通過數(shù)據(jù)下載模塊將所需內(nèi)容下載到本地。

2.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的圖像隱私信息保護(hù)方法的系統(tǒng)，其特征在于，包括有數(shù)據(jù)上傳模塊、深度學(xué)習(xí)模塊、信息隱匿模塊和數(shù)據(jù)下載模塊；所述數(shù)據(jù)上傳模塊，用于實(shí)現(xiàn)客戶端到服務(wù)器端的圖像上傳；所述深度學(xué)習(xí)模塊，遍歷圖像中的像素塊，識(shí)別出圖像中包含的隱私保護(hù)對(duì)象；所述信息隱匿模塊，根據(jù)用戶提交的所需保護(hù)隱私類別，利用高斯濾波，對(duì)隱私信息進(jìn)行模糊化處理；所述數(shù)據(jù)下載模塊，實(shí)現(xiàn)用戶端從服務(wù)器端下載已經(jīng)處理過的圖像。

3.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的圖像隱私信息保護(hù)方法的系統(tǒng)，其特征在于，所述數(shù)據(jù)上傳模塊包括：

1）采集當(dāng)前用戶上傳圖像、視頻信息；

2）采集當(dāng)前用戶所選需覆蓋的隱私保護(hù)類信息。

4.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的圖像隱私信息保護(hù)方法的系統(tǒng)，其特征在于，所述的深度學(xué)習(xí)模塊，其核心為識(shí)別指定隱私保護(hù)對(duì)象的模型；模型訓(xùn)練過程包括：首先選定部分隱私保護(hù)類，拍攝其在不同場(chǎng)景下的照片，作為訓(xùn)練集；然后對(duì)拍攝得到的照片進(jìn)行人工篩選，刪除不可用的數(shù)據(jù)，并對(duì)符合要求的數(shù)據(jù)中的隱私信息進(jìn)行類別標(biāo)記，并將數(shù)據(jù)集按照8:2的比例分為訓(xùn)練集和測(cè)試集；之后將帶有標(biāo)記的數(shù)據(jù)傳入darknet深度學(xué)習(xí)模型框架中，并進(jìn)行輪詢迭代，訓(xùn)練模型神經(jīng)元權(quán)重，最終得到所需可識(shí)別指定對(duì)象的模型；最后，將訓(xùn)練好的模型部署到服務(wù)器中。

5.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的圖像隱私信息保護(hù)方法的系統(tǒng)，其特征在于，所述的信息隱匿模塊，其核心為對(duì)識(shí)別出的隱私信息進(jìn)行模糊化處理；處理過程為：首先，根據(jù)深度學(xué)習(xí)模型所識(shí)別的隱私保護(hù)對(duì)象位置信息，對(duì)識(shí)別區(qū)域的尺寸進(jìn)行確定；然后，依據(jù)用戶所選隱私保護(hù)對(duì)象類別以及人為設(shè)置的高斯核標(biāo)準(zhǔn)差，將其代入所選高斯核函數(shù)，對(duì)隱私對(duì)象進(jìn)行模糊化處理。

6.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的圖像隱私信息保護(hù)方法的系統(tǒng)，其特征在于，所述的數(shù)據(jù)下載模塊，服務(wù)器端將處理后的圖片、視頻返回給客戶端，用戶按照個(gè)人需求，可選擇性的將其下載到本地。