[發明專利]一種基于元數據和滑動窗口的文獻去重方法、系統及存儲介質

在審

• 申請號: 202210614285.2
• 申請日: 2022-05-31
• 公開（公告）號: CN115048340A
• 公開（公告）日: 2022-09-13
• 發明（設計）人: 卓應忠
• 申請（專利權）人: 重慶維普智圖數據科技有限公司
• 主分類號: G06F16/14
• 分類號: G06F16/14;G06F16/16;G06F16/182
• 代理公司: 重慶強大凱創專利代理事務所(普通合伙) 50217
• 代理人: 趙玉乾

本發明屬于大數據處理技術領域，尤其涉及一種基于元數據和滑動窗口的文獻去重方法、系統及存儲介質，包括以下步驟：獲取已有文獻元數據提取指紋值，將待新增的文獻元數據存進內存?磁盤的混合存儲系統中，根據文獻的特征值字段計算待新增文獻的指紋值，并利用滑動窗口算法與分布式內存中緩存的指紋值進行匹配，從而判斷是否有新增文獻。本發明能夠解決現有技術中針對不同來源的數字資源元數據缺少重復性數據去重的問題。

技術領域

本發明屬于大數據處理技術領域，尤其涉及一種基于元數據和滑動窗口的文獻去重方法、系統及存儲介質。

背景技術

隨著大數據處理技術的不斷發展，各類信息系統產生的數據越來越具有關聯性，從而形成了信息網絡，如社交網絡、移動互聯網、生物分子關系網絡、數字資源以及知識圖譜等。在圖書館行業中，研究熱點主要集中在以數字資源構成的數字資源信息網絡，包括數字資源組織、管理、揭示、使用、分析等。此類研究熱點的研究目的是為了提高服務質量與服務效率，即從用戶檢索請求開始到資源/知識獲得的整個文獻服務流程中，能更快更好更便捷的為讀者服務。但是，當前數字資源信息網絡呈現如下特征：(1)數據量極其龐大；隨著全球信息的爆炸性增長，資源元數據由不同的數字資源提供商所掌控，總量超過百億條，存儲成本高。(2)數據重復率高；由于數字資源提供商間的商業或技術壁壘，導致不同提供商間的資源具有交叉、重合、互補等特性，資源訪問質量低。(3)元數據異構多模；各數字資源提供商幾乎都有自己特定標準的開放訪問方式，存在字段不齊、含義不同、格式不一等情況，知識轉化難度大。

基于上述問題，目前有相關學者機構開展了大量的研究工作，重慶大學圖書館探索基于學科目錄的數字資源分類法，建設了紙電合一的圖書館目錄，進行了紙本文獻和數字文獻資源的重組與整合；清華大學圖書館建立的清華大學圖書館一體化資源管理平臺，包括了建設思路和數據遷移方案等；因此圖書館屆嘗試了資源元數據的統一管理，但是仍沒有合并處理10個以上來源的元數據的能力，缺少重復性數據去重的實施方案。

發明內容

本發明所解決的技術問題在于提供一種基于元數據和滑動窗口的文獻去重方法、系統及存儲介質，以解決現有技術中針對不同來源的數字資源元數據缺少重復性數據去重的問題。

本發明提供的基礎方案：一種基于元數據和滑動窗口的文獻去重方法，包括：

S1：獲取已有文獻元數據Simhash指紋值；

S2：獲取待新增的文獻元數據，計算待新增的文獻元數據的newhash指紋值，并使用滑動窗口算法同Simhash指紋值匹配，將匹配結果構成集合〇；

S3：根據集合〇中元素數量判斷是否有新增文獻；

其中，所述S2中的滑動窗口算法具體為：按照文獻元數據類型，獲取該文獻首次出現的平臺及時間，以該時間為節點或者該平臺和時間結合為節點，若以時間為節點，則以該時間往前推進預設的時間年限，選取該時間年限內的Simhash值進行匹配，若以平臺和時間結合為節點，則以該文獻首次出現平臺和首次出現的時間，以該時間往前推進一定的時間年限，讀取其他同類型平臺的文獻元數據的Simhash指紋值進行匹配。