[發明專利]一種基于深度學習的文物藝術品領域圖像相似度度量方法

有效

• 申請號: 202010319027.2
• 申請日: 2020-04-21
• 公開（公告）號: CN111523592B
• 公開（公告）日: 2023-05-09
• 發明（設計）人: 蔣齊琛;周圓;王中恕;閆倩;祁煜琨;鄭潔
• 申請（專利權）人: 易元數字（北京）科技集團有限公司
• 主分類號: G06V10/74
• 分類號: G06V10/74;G06V10/40;G06V10/764;G06V10/774;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 北京智行陽光知識產權代理事務所(普通合伙) 11738
• 代理人: 黃錦陽

本發明公開了一種基于深度學習的文物藝術品領域圖像相似度度量算法，在caffe深度學習框架下進行實現。由于本發明涉及領域與大眾領域稍有不同，目前尚未見到關于文物藝術品領域大型數據集，因此本實驗數據集為自行人工標注的數據集，一共涉及繪畫、書法、瓷器、貝器、名人手跡、青銅器、石器、玉器、唐卡、文房用具、竹木牙角匏器、紫砂器、碑帖拓片、琺瑯器、佛像、古典家具、古樂器、古錢幣、骨器、金屬器、料器、漆器共22個分類，總計兩百多萬張圖片數據，訓練集與測試集比例為4：1。訓練數據統一歸一化到長、寬均為256像素尺寸，并通過鏡面翻轉、隨機剪裁、小角度旋轉、椒鹽噪聲等常見圖片處理方式進行數據擴充至8～10倍。

技術領域

本發明屬于圖像相似度度量領域，更具體的說，涉及一種通過卷積神經網絡提取圖片特征，隨后完成圖片對之間的特征距離計算，進而轉化為相似度數值的方法。

背景技術

科技的發展革新為日常生產生活帶來了巨大的影響。計算機、互聯網行業的蓬勃發展，為我們帶來了海量數據，不得不承認，身處于大數據時代，無論哪個行業都有著將數據轉化為效率和應用價值的機會。

文物藝術品行業也許沒有衣食住行等領域更加貼近生活，但在人民物質生活日益提高的今天，精神層面的提升，文化底蘊的培養逐漸得到廣泛重視，賦予在文物藝術品上的傳承價值讓這個行業近年來呈現出蓬勃發展的趨勢。其與先進技術的結合為這一領域注入了新的活力，文物藝術品圖片相似度的度量不僅為用戶提供智能簡便的冗余信息過濾方式，更在打擊出土出水被盜文物等文物監測、搜索、比對等方面帶來了新的變化，在一定程度上對以往單純的人工監測起到了輔助作用。

卷積神經網絡作為近些年來計算機領域的重要成果之一，在圖像處理、計算機視覺方向得到了深入研究與廣泛應用，為實現人工智能帶來了重大的變革。卷積神經網絡以原始圖像數據作為輸入，通過訓練的方式自主學習數據特征，豐富的訓練數據幫助神經網絡提取到圖像的重要特征，大量的計算神經元從某種程度上實現了對大腦運算方式的模擬，學習策略和網絡結構的多樣化更是進一步幫助性能的提高與優化，前人對經典網絡結構的探索和在龐大數據集上的預訓練結果更是為后來者提供了理論經驗和實現基礎。在人臉識別、圖像分類、目標檢測等方面的學術成果與工業落地也進一步驗證了卷積神經網絡的強大。

因此，鑒于文物藝術品種類繁多、品目龐雜，很多藝術品具有唯一性的特點以及卷積神經網絡在處理圖像問題有著一定優勢的綜合考量，本發明以卷積神經網絡為基礎提出一種基于深度學習的文物藝術品領域圖像相似度度量方法，實現深度學習、神經網絡技術在相關領域的成功應用。

發明內容

結合上述文物藝術品領域的特點及現有文獻資料中相關方法介紹較少的情況，本發明利用卷積神經網絡，提供了一種基于深度學習的文物藝術品領域的圖片相似度度量方法。該方法可以實現對輸入文物藝術品圖像特征的有效提取，并采用新方法處理圖像特征，轉化為相似度度量，一定程度上符合大眾對圖片相似與否的認知，且不同于現有文物藝術品領域相關研究，因此有一定的創新性和應用價值。

本發明提供如下技術方案：

一種基于深度學習的文物藝術品領域圖像相似度度量算法，包括以下步驟：

步驟1，圖片特征提取：首先需要對兩張文物藝術品圖片進行特征提取，使用殘差網絡實現對圖片語義特征的提取；其次使用在2012年的ILSVRC分類數據集預訓練過的resnet-18網絡參數作為初始權重，在預訓練的基礎上進一步通過分類任務優化初始權重；所述通過分類任務優化初始權重是指從計算機視覺角度出發，將文物藝術品分為繪畫、書法、瓷器、貝器、名人手跡、青銅器、石器、玉器、唐卡、文房用具、竹木牙角匏器、紫砂器、碑帖拓片、琺瑯器、佛像、古典家具、古樂器、古錢幣、骨器、金屬器、料器、漆器共22個類別，在經由上述預訓練過的resnet18中以分類任務為目標繼續訓練，分類準確率達到較高標準后將此時的resnet18網絡參數作為特征提取網絡的初始參數，最后連接512維、256維的全連接層對所提取特征進行降維與編碼，完成圖片特征提取，則對于每一張文物藝術品圖片輸入都能夠得到相對應的圖片特征；