[發(fā)明專利]一種基于語義加權(quán)的圖像信息隱藏方法

在審

• 申請?zhí)枺?/td>: 202210220784.3
• 申請日: 2022-03-08
• 公開（公告）號: CN114782462A
• 公開（公告）日: 2022-07-22
• 發(fā)明（設(shè)計(jì)）人: 劉芳芳;潘嘉希;郭彩麗;楊洋
• 申請（專利權(quán)）人: 北京郵電大學(xué)
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T5/50;G06N3/08;G06N3/04;G06F21/60
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于語義加權(quán)的圖像信息隱藏方法，具體步驟包括：

步驟一、構(gòu)建圖像信息隱藏系統(tǒng)模型；

系統(tǒng)模型包括發(fā)送端和接收端；

整個系統(tǒng)的處理過程如下：1)發(fā)送端隨機(jī)選擇載體圖像和秘密圖像，對秘密圖像進(jìn)行特征提取和語義重要性分析，生成表示秘密圖像不同區(qū)域語義重要程度的語義重要性圖，再根據(jù)語義重要性圖裁剪秘密圖像特征，僅保留影響接收端重建秘密圖像質(zhì)量的關(guān)鍵特征；2)發(fā)送端將語義加權(quán)，即語義裁剪后的秘密圖像特征與載體圖像進(jìn)行通道上的連接，利用深度神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)深度融合與嵌入，并生成與載體圖像有相近感知特性的載密圖像，通過公開信道將載密圖像傳輸?shù)浇邮斩耍?)接收端接收載密圖像，利用深度神經(jīng)網(wǎng)絡(luò)從中提取出秘密圖像特征，恢復(fù)得到重建秘密圖像；

該系統(tǒng)的主要評價指標(biāo)包括載體圖像和載密圖像的感知特性相似程度，以及秘密圖像和重建秘密圖像的感知特性程度；

步驟二、構(gòu)建基于語義加權(quán)的圖像信息隱藏方法的網(wǎng)絡(luò)模型；

網(wǎng)絡(luò)模型包括語義預(yù)處理網(wǎng)絡(luò)、隱藏網(wǎng)絡(luò)和解密網(wǎng)絡(luò)，其中，發(fā)送端利用語義預(yù)處理網(wǎng)絡(luò)和隱藏網(wǎng)絡(luò)實(shí)現(xiàn)秘密圖像到載體圖像的嵌入，生成載密圖像，接收端利用解密網(wǎng)絡(luò)從載密圖像中恢復(fù)得到重建秘密圖像，詳細(xì)的網(wǎng)絡(luò)模型建模步驟如下：

步驟201、構(gòu)建語義預(yù)處理網(wǎng)絡(luò)模型；

語義預(yù)處理網(wǎng)絡(luò)的目的如下：1)放大或縮小秘密圖像，保障其與載體圖像具有同等大小，在本發(fā)明中，秘密圖像和載體圖像大小均以64×64×3為例，其中64分別表示圖像寬與高的像素?cái)?shù)，3表示圖像的RGB通道數(shù)；2)提取秘密圖像特征；3)生成表示秘密圖像不同區(qū)域語義重要程度的語義重要性圖，根據(jù)語義重要性圖裁剪秘密圖像特征，用于與載體圖像進(jìn)行通道上的連接并嵌入；

其網(wǎng)絡(luò)模型包括特征提取模塊、語義重要性分析模塊和特征裁剪模塊；

特征提取模塊以大小為64×64×3的秘密圖像為輸入，輸出64×64×65的秘密圖像特征，網(wǎng)絡(luò)結(jié)構(gòu)由兩個卷積模塊(Conv Block)構(gòu)成，Conv Block是多尺度特征融合網(wǎng)絡(luò)，通過多個不同卷積核提取圖像不同尺度的特征，再進(jìn)行特征融合，具體選取得卷積核大小分別為3×3、4×4和5×5，卷積核通道數(shù)分別為50、10和5，卷積步長均為1，激活函數(shù)均為ReLU函數(shù)，在完成此三個尺度得特征提取后，將提取出的特征在通道維度連接起來；

語義重要性分析模塊以特征提取模塊輸出的大小為64×64×65的秘密圖像特征為輸入，輸出大小為64×64×1的秘密圖像語義重要性圖，網(wǎng)絡(luò)結(jié)構(gòu)由兩個Conv Block和一個卷積層構(gòu)成，該卷積層的卷積核大小為3×3，卷積核通道數(shù)和卷積步長均為1，激活函數(shù)為Sigmoid函數(shù)，先通過Conv Block分析秘密圖像每個像素點(diǎn)的語義信息，再由卷積層計(jì)算每個像素點(diǎn)的語義重要程度，并由Sigmoid函數(shù)映射為0到1之間的值，得到秘密圖像的語義重要性圖，在某像素點(diǎn)處的語義重要性圖值越大，表示該像素點(diǎn)越重要，需要保留并嵌入到載體圖像以便于重建的特征通道數(shù)越多；

特征裁剪模塊以特征提取模塊輸出的大小為64×64×65的秘密圖像特征和語義重要性分析模塊輸出的大小為64×64×1的秘密圖像語義重要性圖為輸入，輸出大小為64×64×65經(jīng)過語義加權(quán)裁剪后的秘密圖像特征，此模塊由掩碼生成和點(diǎn)乘裁剪構(gòu)成，先由秘密圖像語義重要性圖生成與秘密圖像特征同大小的語義重要性掩碼，再將此掩碼和秘密圖像特征進(jìn)行點(diǎn)乘，保留重建秘密圖像需要的關(guān)鍵特征，裁剪冗余特征，即將該特征值置為0，以此保障在取得很好重建秘密圖像效果的同時，減小嵌入秘密圖像特征對載體圖像感知特性的影響；

假設(shè)特征提取模塊輸出的秘密圖像特征為F(W,H,C)，語義重要性分析模塊輸出的秘密圖像語義重要性圖為M(W,H,1)，則特征裁剪模塊輸出的秘密圖像特征各特征值應(yīng)表示為：

其中，W和H分別表示圖像或特征的寬與高，C表示特征的通道數(shù)，F(xiàn)′表示經(jīng)過特征裁剪模塊語義加權(quán)裁剪后的秘密圖像特征，(w,h,c)表示特征圖中某位置，w＝1,...,W，h＝1,...H，c＝1,...,C；

具體地，掩碼生成首先需對語義重要性圖做量化近似，分為L個量化等級：

其中，Q表示量化操作，l表示某量化等級，l＝1,...,L；

掩碼生成再將語義重要性圖M(W,H,1)拓展為與秘密圖像特征同大小的語義重要性掩碼M′(W,H,C)，語義重要性掩碼每個位置取值為0或1，0表示該位置對應(yīng)的秘密圖像特征點(diǎn)需要裁剪，1表示該位置對應(yīng)的秘密圖像特征點(diǎn)需要保留，某像素點(diǎn)的語義重要性圖權(quán)重越大，該像素點(diǎn)的語義重要性掩碼取值為1的通道數(shù)越多，保留并嵌入到載體圖像的秘密圖像特征越多，語義重要性掩碼各位置取值可表示為：

點(diǎn)乘裁剪將語義重要性掩碼與秘密圖像特征進(jìn)行點(diǎn)乘，實(shí)現(xiàn)語義加權(quán)，保留影響重建秘密圖像效果的關(guān)鍵特征，舍棄冗余特征，得到裁剪后秘密圖像特征各特征值可表示為：

F′(w,h,c)＝F(w,h,c)*M(w,h,c)

步驟202、構(gòu)建隱藏網(wǎng)絡(luò)模型；

隱藏網(wǎng)絡(luò)的目的是實(shí)現(xiàn)秘密圖像特征和載體圖像的嵌入與深度融合，生成與載體圖像具有相似感知特性的載密圖像，用于在公開信道傳輸，并避免被第三方察覺、竊取與攻擊，由于人類感官系統(tǒng)對圖像高頻或紋理和內(nèi)容復(fù)雜區(qū)域的細(xì)微改變不敏感，隱藏網(wǎng)絡(luò)負(fù)責(zé)分析確定這部分區(qū)域，并嵌入秘密圖像特征；

隱藏網(wǎng)絡(luò)首先需要將語義預(yù)處理網(wǎng)絡(luò)輸出的大小為64×64×65的語義加權(quán)裁剪后的秘密圖像特征以及大小為64×64×3的載體圖像在通道上進(jìn)行連接，得到大小為64×64×68的秘密圖像和載體圖像初步聯(lián)合，再以此為輸入，輸出大小為64×64×3的載密圖像，其網(wǎng)絡(luò)模型的結(jié)構(gòu)由五個Conv Block和一個卷積層構(gòu)成，該卷積層的卷積核大小為3×3，卷積核通道數(shù)為3，卷積步長為1，激活函數(shù)為Tanh函數(shù)，先通過Conv Block確定載體圖像中適合嵌入秘密圖像特征的區(qū)域并實(shí)現(xiàn)兩者的深度融合，再通過Tanh函數(shù)將融合結(jié)果映射為-1到1之間的值，得到載密圖像；

步驟203、構(gòu)建解密網(wǎng)絡(luò)模型；

解密網(wǎng)絡(luò)的目的是對接收到的載密圖像進(jìn)行處理，從中提取嵌入的秘密圖像特征，并恢復(fù)重建秘密圖像，恢復(fù)出的重建秘密圖像應(yīng)與發(fā)送方原始秘密圖像有相似感知特性，以便接收方利用該秘密圖像進(jìn)行后續(xù)任務(wù)，實(shí)現(xiàn)信息隱藏本的通信功能；

解密網(wǎng)絡(luò)以接收到大小為64×64×3的載密圖像為輸入，輸出大小為64×64×3的重建秘密圖像，其網(wǎng)絡(luò)結(jié)構(gòu)由五個Conv Block和一個卷積層構(gòu)成，該卷積層的卷積核大小為3×3，卷積核通道數(shù)為3，卷積步長為1，激活函數(shù)為Tanh函數(shù)，先通過Conv Block分析載密圖像特征，從中提取出嵌入的經(jīng)過語義加權(quán)裁剪后的秘密圖像特征并進(jìn)行填充與恢復(fù)，再通過Tanh函數(shù)將提取結(jié)果映射為-1到1之間的值，得到載密圖像；

確定載體圖像中適合嵌入秘密圖像特征的區(qū)域并實(shí)現(xiàn)兩者的深度融合，再通過Tanh函數(shù)將融合結(jié)果映射為-1到1之間的值，得到重建秘密圖像；

步驟三、構(gòu)建基于語義加權(quán)的圖像信息隱藏方法的反向梯度傳播模型；

實(shí)現(xiàn)圖像信息隱藏需要端到端訓(xùn)練網(wǎng)絡(luò)模型，網(wǎng)絡(luò)模型的訓(xùn)練需要反向梯度傳播不斷迭代，網(wǎng)絡(luò)模型中隱藏網(wǎng)絡(luò)和解密網(wǎng)絡(luò)都可以實(shí)現(xiàn)反向梯度傳播，但因?yàn)檎Z義預(yù)處理網(wǎng)絡(luò)的掩碼生成模塊中量化和語義重要性圖通道拓展不可導(dǎo)，導(dǎo)致反向梯度傳播中斷，在此模塊之前的梯度處處為零，無法迭代，為解決此問題，將掩碼生成重新表示為：

其中，表示向上取整函數(shù)；

掩碼生成的反向梯度可表示為：

注意在前向傳播中仍然采用未重新表示的方式，此重新表示僅用于反向梯度傳播中，由此，網(wǎng)絡(luò)模型處處可導(dǎo)，反向梯度可完成傳輸，能夠進(jìn)行端到端訓(xùn)練；

步驟四、構(gòu)建損失函數(shù)模型；

網(wǎng)絡(luò)模型訓(xùn)練依靠損失函數(shù)模型，需要考慮載體圖像和載密圖像的感知特性相似程度，以及秘密圖像和重建秘密圖像的感知特性程度，載體圖像和載密圖像的感知特性相似程度決定信息隱藏效果和安全性，相似程度越高，安全性越好，隱藏效果越好，秘密圖像和重建秘密圖像的感知特性程度決定通信功能實(shí)現(xiàn)程度，相似程度越高，秘密圖像傳輸效果越好，接收端后續(xù)任務(wù)處理精度越高，如果只考慮一方，則網(wǎng)絡(luò)會愈加傾向于保證此感知特性相似程度，而忽略另一方，極端情況下生成的載密圖像可能不包含秘密圖像，導(dǎo)致通信失敗，也可能僅包含秘密圖像，導(dǎo)致第三方察覺、竊取與攻擊；

因此，損失函數(shù)模型包含兩部分，以兩張圖像的均方誤差(Mean Square Error，MSE)衡量其感知特性相似程度，MSE越小，相似程度越高，MSE計(jì)算公式如下：

其中，x和y分別表示待比較感知特性相似程度的兩張圖像；

假設(shè)C和C′分別表示載體圖像和載密圖像，S和S′分別表示秘密圖像和重建秘密圖像，則損失函數(shù)可表示為：

Loss(C,C′,S,S′)＝Loss_C+β*Loss_S＝MSE(C,C′)+β*MSE(S,S′)

其中，Loss_C和Loss_S分別表示載體圖像和載密圖像相似程度的損失函數(shù)，以及秘密圖像和重建秘密圖像相似程度的損失函數(shù)，β表示兩者權(quán)重，用于權(quán)衡載密圖像和重建秘密圖像質(zhì)量，β越大，表示重建秘密圖像質(zhì)量越關(guān)鍵；

步驟五、在基于語義加權(quán)的圖像信息隱藏方法的網(wǎng)絡(luò)模型和損失函數(shù)模型的基礎(chǔ)上，構(gòu)建深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型；

步驟501、構(gòu)建數(shù)據(jù)集；

選用Tiny-ImageNet數(shù)據(jù)集，該數(shù)據(jù)集共有200個圖像類，每個圖像類有500張訓(xùn)練圖像、50張驗(yàn)證圖像以及50張測試圖像，是目前計(jì)算機(jī)視覺領(lǐng)域最常用的數(shù)據(jù)集之一；

為保障網(wǎng)絡(luò)模型有合理且統(tǒng)一的輸入，首先將所有圖像都隨機(jī)裁剪成64×64×3大小，再將RGB通道0到255的取值范圍映射為0到1的取值范圍，對圖像進(jìn)行標(biāo)準(zhǔn)化，使其符合均值為0且標(biāo)準(zhǔn)差為1的標(biāo)準(zhǔn)正態(tài)分布，加快網(wǎng)絡(luò)模型收斂速度，標(biāo)準(zhǔn)化可表示為：

其中，x表示圖像數(shù)據(jù)，μ_x表示圖像的均值，σ_x表示圖像的標(biāo)準(zhǔn)差；

從處理后的Tiny-ImageNet數(shù)據(jù)集中隨機(jī)選取10000張訓(xùn)練圖像作為訓(xùn)練集，將訓(xùn)練集均分為兩組，組成秘密圖像-載體圖像對，從而進(jìn)行網(wǎng)絡(luò)模型的訓(xùn)練；

步驟502、設(shè)置超參數(shù)；

基于UBUNTU操作系統(tǒng)和NVIDIA GTX1080顯卡搭建訓(xùn)練環(huán)境，利用PyTorch框架實(shí)現(xiàn)網(wǎng)絡(luò)模型，其主要超參數(shù)設(shè)置如下：1)批尺寸(Batch Size)設(shè)置為64，訓(xùn)練輪數(shù)(Epoch)設(shè)置為300；2)語義預(yù)處理網(wǎng)絡(luò)、隱藏網(wǎng)絡(luò)和解密網(wǎng)絡(luò)均使用Adam優(yōu)化器進(jìn)行優(yōu)化，學(xué)習(xí)率設(shè)置為0.001；3)語義重要性圖量化等級L設(shè)置為13；4)損失函數(shù)權(quán)重β設(shè)置為0.75、1和1.25；

步驟六、在基于語義加權(quán)的圖像信息隱藏方法的網(wǎng)絡(luò)模型和訓(xùn)練模型的基礎(chǔ)上，構(gòu)建深度神經(jīng)網(wǎng)絡(luò)測試與系統(tǒng)性能評估模型；

步驟601、構(gòu)建網(wǎng)絡(luò)測試模型；

利用處理后的Tiny-ImageNet數(shù)據(jù)集10000張測試圖像作為測試集，將測試集均分為兩組，組成秘密圖像-載體圖像對，從而進(jìn)行網(wǎng)絡(luò)模型的測試，測試模型超參數(shù)與訓(xùn)練時相同；

步驟602、構(gòu)建系統(tǒng)性能評估模型；

圖像信息隱藏系統(tǒng)性能包括載體圖像負(fù)載量，載體圖像和載密圖像的感知特性相似程度，以及秘密圖像和重建秘密圖像的感知特性程度，

載體圖像負(fù)載量有客觀性能指標(biāo)絕對嵌入容量與相對嵌入容量，絕對嵌入容量指載體圖像含有秘密圖像的字節(jié)數(shù)，相對嵌入容量指載體圖像平均每像素含有的秘密圖像字節(jié)數(shù)；

兩張圖像感知特性相似程度有客觀性能指標(biāo)平均每像素偏差(Average PixelDeviation，APD)、平均每像素平方偏差(Average Pixel Square Deviation，APSD)、峰值信噪比(Peak Signal to Noise Ratio，PSNR)和結(jié)構(gòu)相似度指標(biāo)(Structural SimilarityIndex，SSIM)；

APD指兩張圖像平均每像素每RGB通道值偏差，APSD指兩張圖像平均每像素每RGB通道值偏差平方，APD和APSD值越小，兩張圖像感知特性相似程度越高；

PSNR指信號最大功率與信號噪聲功率之比，嵌入載體圖像的秘密圖像可視為影響載體圖像質(zhì)量的噪聲，秘密圖像嵌入的載體圖像可視為影響秘密圖像質(zhì)量的噪聲，PSNR值越大，兩張圖像感知特性相似程度越高，其計(jì)算公式如下：

其中，n表示每像素比特?cái)?shù)；

SSIM從亮度、對比度和結(jié)構(gòu)三個方面比較衡量圖像不同區(qū)域間的相關(guān)性，SSIM值越大，兩張圖像感知特性相似程度越高，其計(jì)算公式如下：

SSIM(x,y)＝[l(x,y)^α·c(x,y)^β·s(x,y)^γ]

其中，x和y分別表示兩張圖像，l(x,y)表示亮度比較，c(x,y)表示對比度比較，s(x,y)表示結(jié)構(gòu)比較，μ_x和μ_y表示x和y的均值，σ_x和σ_y表示x和y的標(biāo)準(zhǔn)差，σ_xy表示協(xié)方差，c₁、c₂和c₃是常熟，避免分母為0，α、β和γ一般設(shè)置為1，則有計(jì)算公式如下：

兩張圖像感知特性相似程度有主觀性能指標(biāo)兩圖像殘差和直方圖統(tǒng)計(jì)特征對比，兩圖像殘差評估是否存在色差與偽影等，殘差越小，視覺效果越好，直方圖統(tǒng)計(jì)特征評估抗第三方隱寫分析能力，直方圖統(tǒng)計(jì)特征越接近，抗隱寫分析能力越好。