[發(fā)明專利]一種基于深度學習的社交網(wǎng)絡圖像源識別方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202110876069.0
• 申請日: 2021-07-30
• 公開（公告）號: CN113609954B
• 公開（公告）日: 2022-12-09
• 發(fā)明（設計）人: 孫欽東;林凱
• 申請（專利權）人: 西安交通大學
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/44;G06V10/30;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 朱海臨

本發(fā)明公開了一種基于深度學習的社交網(wǎng)絡圖像源識別方法及系統(tǒng)，采用極大似然估計方式估計測試圖片數(shù)據(jù)集所屬相機的指紋集合，根據(jù)圖片的噪聲指紋特征與其相機源的相機指紋特征完成網(wǎng)絡模型的訓練，利用噪聲圖片值與估計出的相機指紋的相關系數(shù)實現(xiàn)社交網(wǎng)絡圖像源識別，計算出識別的準確率，本發(fā)明在原始圖片數(shù)據(jù)集和社交網(wǎng)絡上經(jīng)過處理的數(shù)據(jù)集上都表現(xiàn)良好，有更為精確的相機源識別的準確率和較強的魯棒性。解決了傳統(tǒng)單一的移動取證或社交網(wǎng)絡取證方法對于相機源識別的準確率低的問題。

技術領域

本方法屬于深度學習和數(shù)字取證領域，涉及一種基于深度學習的社交網(wǎng)絡圖像源識別方法及系統(tǒng)。

背景技術

近年來，隨著Twitter、Facebook、微信、Instagram、新浪微博等社交網(wǎng)絡平臺的興起，在線社會網(wǎng)絡已經(jīng)廣泛應用于我們的日常生活，并正在改變我們的生活和交流方式。智能手機在用戶利用社交平臺發(fā)布和分享多媒體內容(圖片、視頻等)的行為中發(fā)揮了重要的作用，也為欺詐活動提供了媒介。因此，智能手機和社交網(wǎng)絡平臺相結合的取證方法成為數(shù)字取證的研究熱點，特別是在執(zhí)法人員在搜集犯罪證據(jù)中發(fā)揮極大的作用。

數(shù)字取證的一個常見問題是圖像的設備來源識別。相機傳感器指紋不僅成功地應用于相機識別和圖像處理，而且還涉及到基于攝像機的盲圖像聚類問題。在線社會網(wǎng)絡中，圖像通過智能手機拍攝并上傳到社交網(wǎng)絡平臺上，上傳成功后可與其他用戶進行共享，以供查看和下載。目前，大多數(shù)社交網(wǎng)絡平臺允許用戶使用智能手機拍攝圖像同時進行上傳。Facebook、微信和其他社交網(wǎng)絡平臺包含大量的照片，這些內容構成了有價值的實時信息源，利用這些信息源來匹配智能手機，解決執(zhí)法人員面對海量社交網(wǎng)絡數(shù)據(jù)取證困難的問題。

由于社交網(wǎng)絡平臺上數(shù)據(jù)信息的廣泛性和異構性，以及大規(guī)模數(shù)據(jù)集對圖像取證算法造成的計算復雜度高的困難，很少有研究將圖像取證和社交網(wǎng)絡取證相結合。

發(fā)明內容

本發(fā)明的目的在于提供一種基于深度學習的社交網(wǎng)絡圖像源識別方法及系統(tǒng)，以克服現(xiàn)有技術的不足。

為達到上述目的，本發(fā)明采用如下技術方案：

一種基于深度學習的社交網(wǎng)絡圖像源識別方法，包括以下步驟：

S1，采用極大似然估計方式估計測試圖片數(shù)據(jù)集所屬相機的指紋集合Kset；

S2，從測試圖片數(shù)據(jù)集中隨機抽選訓練圖片I，并按照預設大小從隨機抽選的訓練圖片中任意位置截取一張子圖I′，同時隨機獲取一個l∈{0,1}，當l＝1時，從指紋集合Kset中取出隨機抽選的訓練圖片的源相機指紋圖像M，并從源相機指紋圖像M中截取與訓練圖片中任意位置截取的子圖相同位置的子圖M′，并將{1,I′,M′}作為一個組合對pair；當label＝0時，隨機從指紋集Kset中取出不是訓練圖片I所屬的源相機指紋圖像，并從該圖像中截取與I′大小相同的子圖M″，并將{0，I′，M″}作為一個組合對pair；將獲取的組合對pair輸入到訓練模型進行訓練，重復從測試圖片數(shù)據(jù)集中隨機抽選訓練圖片進行訓練，直至經(jīng)過訓練模型輸出的噪聲圖片值與估計出的相機指紋的相關系數(shù)達到設定閾值，完成模型訓練；

S3，采用訓練后的模型對待驗證社交網(wǎng)絡圖像進行處理得到待驗證社交網(wǎng)絡圖像的噪聲圖像值，與得到的噪聲圖像值最接近的PRNU值所對應的相機即為待驗證社交網(wǎng)絡圖像的圖像源。

進一步的，測試圖片數(shù)據(jù)集為已知相機拍攝圖片。

進一步的，采用極大似然估計的方式估計出圖片數(shù)據(jù)集所屬相機的PRNU值為K：

W_k為測試圖片數(shù)據(jù)集中第k張圖片的噪聲殘差，I_k為測試圖片數(shù)據(jù)集中第k張圖片的噪聲圖片。

進一步的，訓練模型采用CSI-CNN網(wǎng)絡結構，包括輸入層，卷積層和輸出層。