[發明專利]基于MongoDB的文件處理方法、裝置、系統及服務器

在審

• 申請號: 201710917092.3
• 申請日: 2017-09-30
• 公開（公告）號: CN110019048A
• 公開（公告）日: 2019-07-16
• 發明（設計）人: 王曉濤
• 申請（專利權）人: 北京國雙科技有限公司
• 主分類號: G06F16/172
• 分類號: G06F16/172;G06F16/14;G06F16/13;G06F16/907
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王寶筠

本發明提供的基于MongoDB的文件處理方法、裝置、系統及服務器，通過在MongoDB預先設置的多個數據文檔集合以及至少一個元數據文檔集合，接收到待存儲文件后，檢測這多個數據文檔集合確實未存儲該待存儲文件，將基于待存儲文件的預設屬性信息，將其存儲到相應的數據文檔集合，并將該待存儲文件的當前元數據信息更新到元數據文檔集合，而不是將元數據信息存儲到Name Node的內存中，解決了因Name Node的內存無法存儲海量小文件的元數據信息，導致無法存儲海量小文件的技術問題，同時本發明通過對文件分類存儲，還能夠實現對大文件的存儲，且便于通過增加數據文檔集合實現系統水平擴展。

技術領域

本發明涉及數據庫應用領域，更具體地說是涉及一種基于MongoDB的文件處理方法、裝置、系統及服務器。

背景技術

如今，隨著互聯網技術的迅猛發展，用戶在使用計算機設備期間可以接收的數據逐漸成指數倍的增長，單純通過增加硬盤數量擴展計算機設備文件系統的存儲容量的方式，已經無法滿足目前海量文件數據的存儲需求。

針對這種情況，分布式文件系統(Distributed File System，DFS)能夠有效解決數據的存儲難題，分布式文件系統將固定于某個地點的某個文件系統，通過互聯網擴展到任意多個地方/多個文件系統，形成的多個節點構成一個文件系統網絡。用戶使用分布式文件系統，不需要了解數據的實際存儲位置，能夠利用本地文件系統即可實現數據的存取，相當便利。

在實際應用中，分布式文件系統在接收到待存儲文件后，通常是將其元數據信息存儲到Name Node的內存中，然而，該內存無法存儲海量小文件對應的海量元數據信息，導致分布式文件系統無法實現海量小文件的存儲。

發明內容

鑒于上述問題，提出了本發明以便提供一種克服上述問題或者至少部分地解決上述問題的基于MongoDB的文件處理方法、裝置、系統及服務器。

本發明實施例提供了一種基于MongoDB的文件處理方法，所述方法包括：

獲得待存儲文件，檢測分布式文檔存儲數據庫MongoDB的多個數據文檔集合中是否已存儲所述待存儲文件；

確定所述多個數據文檔集合中未存儲所述待存儲文件，基于所述待存儲文件的預設屬性信息，將所述待存儲文件存儲至相應的數據文檔集合；

獲得所述待存儲文件的當前元數據信息，更新到所述MongoDB的元數據文檔集合。

可選的，所述檢測分布式文檔存儲數據庫MongoDB的多個數據文檔集合中是否已存儲所述待存儲文件，包括：

利用布隆過濾器驗證MongoDB的多個數據文檔集合中是否存在所述待存儲文件；

如果不存在，執行所述基于所述待存儲文件的預設屬性信息，將所述待存儲文件存儲至相應的數據文檔集合步驟；

如果存在，確定所述待存儲文件的MD5信息；

檢測MongoDB的元數據文檔集合中是否記錄有所述待存儲文件的MD5信息；

如果未記錄，執行所述基于所述待存儲文件的預設屬性信息，將所述待存儲文件存儲至相應的數據文檔集合步驟，并更新所述布隆過濾器。

可選的，所述方法還包括：

接收到針對待讀取文件的讀取指令，解析所述讀取指令，確定所述待讀取文件的文件標識；

查詢所述元數據文檔集合存儲的與所述文件標識對應的元數據信息，確定出所述待讀取文件的文件存儲類型；

從與確定的所述文件存儲類型對應的數據文檔集合中讀取所述待讀取文件。

可選的，所述方法還包括：