[發明專利]一種基于深度學習的社交網絡圖像源識別方法及系統

有效

• 申請號: 202110876069.0
• 申請日: 2021-07-30
• 公開（公告）號: CN113609954B
• 公開（公告）日: 2022-12-09
• 發明（設計）人: 孫欽東;林凱
• 申請（專利權）人: 西安交通大學
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/44;G06V10/30;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 朱海臨

1.一種基于深度學習的社交網絡圖像源識別方法，其特征在于，包括以下步驟：

S1，采用極大似然估計方式估計測試圖片數據集所屬相機的指紋集合Kset；

S2，從測試圖片數據集中隨機抽選訓練圖片I，并按照預設大小從隨機抽選的訓練圖片中任意位置截取一張子圖I′，同時隨機獲取一個l∈{0,1}，當l＝1時，從指紋集合Kset中取出隨機抽選的訓練圖片的源相機指紋圖像M，并從源相機指紋圖像M中截取與訓練圖片中任意位置截取的子圖相同位置的子圖M′，并將{1,I′,M′}作為一個組合對pair；當label＝0時，隨機從指紋集Kset中取出不是訓練圖片I所屬相機的指紋圖像，并從該圖像中截取與I′大小相同的子圖M″,并將{0,I′,M″}作為一個組合對pair；將獲取的組合對pair輸入到訓練模型進行訓練，重復從測試圖片數據集中隨機抽選訓練圖片進行訓練，直至經過訓練模型輸出的噪聲圖片值與估計出的相機指紋的相關系數達到設定閾值，完成模型訓練；

S3，采用訓練后的模型對待驗證社交網絡圖像進行處理得到待驗證社交網絡圖像的噪聲圖像值，與得到的噪聲圖像值最接近的PRNU值所對應的相機即為待驗證社交網絡圖像的圖像源。

2.根據權利要求1所述的一種基于深度學習的社交網絡圖像源識別方法，其特征在于，測試圖片數據集為已知相機拍攝圖片。

3.根據權利要求1所述的一種基于深度學習的社交網絡圖像源識別方法，其特征在于，采用極大似然估計的方式估計出圖片數據集所屬相機的PRNU值為K：

W_k為測試圖片數據集中第k張圖片的噪聲殘差，I_k為測試圖片數據集中第k張圖片的噪聲圖片。

4.根據權利要求1所述的一種基于深度學習的社交網絡圖像源識別方法，其特征在于，訓練模型采用CSI-CNN網絡結構，包括輸入層，卷積層和輸出層。

5.根據權利要求4所述的一種基于深度學習的社交網絡圖像源識別方法，其特征在于，輸入層采用大小為3×3的128×3個卷積核進行卷積，并使用ReLU激活函數來實現神經元間的非線性輸出；卷積層使用殘差網絡的瓶頸殘差模塊,依次經過1×1×128、3×3×32、1×1×32的卷積核進行卷積并執行批量歸一化和ReLU激活函數來輸出128維的特征矩陣；卷積層的前M層通過對訓練集中圖像的特征學習，得到去除加性噪聲后的圖像，并作為卷積層的后續層的輸入，卷積層的后續層通過對去除加性噪聲后的圖像的特征學習，得到輸入圖像的噪聲圖像值；輸出層采用大小為3×3×128的卷積核來輸出圖像乘性噪聲指紋。

6.根據權利要求1所述的一種基于深度學習的社交網絡圖像源識別方法，其特征在于，設定閾值為80％。

7.根據權利要求1所述的一種基于深度學習的社交網絡圖像源識別方法，其特征在于，將獲取的組合pair輸入損失函數計算輸出的噪聲圖片與估計出的相機指紋的相關系數loss(x,y,l)：

其中，當l＝1時，ρ(x,y)相關系數越大表明，則損失越小，表明輸入的x圖片出自PRNU值為y所屬相機。

8.根據權利要求1所述的一種基于深度學習的社交網絡圖像源識別方法，其特征在于，將測試圖片數據集按比例劃分為驗證集，指紋估計集，訓練集和測試集；

指紋估計集為圖片集根據極大似然估計和小波濾波的方法估計相機指紋；

訓練集為使用輸入的訓練集和相機指紋值訓練網絡，使得訓練出來的網絡輸出為下載圖片的噪聲圖片，并可與相機指紋K計算相關系數確定下載圖片所屬相機源；

驗證集為驗證輸入訓練出來的網絡后，網絡輸出的噪聲圖像與相機指紋的相關系數是否符合實際相關性。

9.一種用于權利要求1所示社交網絡圖像源識別方法的社交網絡圖像源識別系統，其特征在于，包括預訓練模塊和識別模塊；

預訓練模塊用于估計測試圖片數據集所屬相機的指紋集合Kset，并從測試圖片數據集中隨機抽選訓練圖片I，并按照預設大小從隨機抽選的訓練圖片中任意位置截取一張子圖I′，同時隨機獲取一個l∈{0,1}，當l＝1時，從指紋集合Kset中取出隨機抽選的訓練圖片的源相機指紋圖像M，并從源相機指紋圖像M中截取與訓練圖片中任意位置截取的子圖相同位置的子圖M′，將{1,I′,M′}作為一個組合對pair；當label＝0時，隨機從指紋集Kset中取出不是訓練圖片I所屬的相機的指紋圖像，并從該圖像中截取與I′大小相同的子圖M″,將{0,I′,M″}作為一個組合對pair；將獲取的組合對pair輸入到訓練模型進行訓練，重復從測試圖片數據集中隨機抽選訓練圖片進行訓練，直至經過訓練模型輸出的噪聲圖片值與估計出的相機指紋的相關系數達到設定閾值，將訓練完成的模型傳輸至識別模塊；

識別模塊用于根據訓練后的模型對待驗證社交網絡圖像進行處理得到待驗證社交網絡圖像的噪聲圖像值，與得到的噪聲圖像值最接近的PRNU值所對應的相機即為待驗證社交網絡圖像的圖像源。