[發明專利]一種便捷的備份郵件到HDFS上的方法

在審

• 申請號: 201410845600.8
• 申請日: 2014-12-31
• 公開（公告）號: CN104407946A
• 公開（公告）日: 2015-03-11
• 發明（設計）人: 李占強;辛國茂
• 申請（專利權）人: 浪潮電子信息產業股份有限公司
• 主分類號: G06F11/14
• 分類號: G06F11/14;G06F17/30
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 姜明

技術領域

本發明公開一種便捷的備份郵件到HDFS上的方法,屬于大數據管理領域。

背景技術

Hadoop利用HDFS，Hadoop?Distributed?File?System，分布式文件系統存儲數據，利用namenode來存儲文件系統的元數據，datanode用于存儲數據本身。并且為了避免SPOF，Single?Point?of?Failure，單一故障點問題的產生，namenode元數據節點支持HA軟件特性。Namenode支持HA特性可以保證元數據的安全性。同樣的，為了保證數據的安全性，避免數據丟失。HDFS引入了文件備份機制，默認情況下是一備三，即一個文件有三個備份。并且HDFS的HA和備份機制可以兼用于重要文件的保存。

目前Google增大Gmail郵箱空間之后，各大郵件服務提供商也相繼跟風。郵箱的容量以數十GB甚至上百GB計量的，意味著郵箱可以存儲的郵件更多，單封郵件可以存儲的時間更長。如今人與人的溝通交流的方式尤其是大公司、大企業內部的信息交流以郵件為主。如何讓郵件信息的快捷保存以便交流，并且不會因服務提供商的服務器被黑、服務提供商的信息遷移、公司內鬼等因素導致用戶郵件丟失，成為亟待解決的問題。本發明針對上述問題提出的一種便捷的備份郵件到HDFS上的方法，利用fuse把郵件和HDFS分別都掛在為本地文件系統的一個目錄，利用定時器定期檢查郵箱的更新情況，如果郵件有變動就啟動文件拷貝線程把郵件掛載點下的更新的郵件拷貝到HDFS掛載點的相應的目錄下，整個過程就像操作本地文件一樣，大大簡化了以往備份郵件的復雜操作，提升了工作效率，更重要的是通過本發明方法可以把郵件安全備份到HDFS，避免重要郵件丟失造成的損失。

發明內容

本發明針對如何讓郵件信息的快捷保存以便交流，并且不會因服務提供商的服務器被黑、服務提供商的信息遷移、公司內鬼等因素導致用戶郵件丟失的問題，提供一種便捷的備份郵件到HDFS上的方法，簡化了以往備份郵件的復雜操作，提升了工作效率，更重要的是通過本發明方法可以把郵件安全備份到HDFS，避免重要郵件丟失造成的損失。

本發明方法主要是基于fuse來實現的。fuse在用戶態實現文件系統的接口。Linux發行版都在內核集成了fuse模塊，可以通過modprobe?fuse命令來啟用fuse模塊。要把郵箱空間掛載到Linux本地文件系統上基于fuse實現一個文件系統，python的imap可以勝任這一需求，我們把該文件系統統一稱為mail_fuse_fs。此外???Hadoop發行版已經利用fuse實現了把hdfs掛在為本地文件系統的功能。用戶只需要編譯相應的模塊就可以使用。

通過利用上述技術將郵件和HDFS都掛載到本地文件系統上。可以像操作本地文件一樣對這兩個掛載目錄進行同步。本方法使用定時器來定期進行郵件和HDFS的同步。本方法不僅適用于郵件的備份，博客、網盤的備份同樣也可以采用本方法。

本發明提出的具體方案是：

一種便捷的備份郵件到HDFS上的方法,具體步驟為：

①在本地系統的userspace中設置定時器，定時器定期檢查用戶郵箱，通過訪問郵件的本地掛載點，把請求路徑交給VFS模塊，VFS將請求路徑交給fuse模塊，mail_fuse_fs文件系統實現郵件的讀取，返回給fuse模塊讀取的內容，fuse模塊將郵件內容返回給VFS模塊；

②VFS模塊將內容返回給讀取線程，讀取線程將讀取的內容返回給定時器，定時器讀取hdfs在本地掛載點目錄，Hdfs讀取線程訪問VFS，VFS訪問fuse，fuse調用hdfs?fuse模塊讀取hdfs內容；

③VFS把讀取內容返回給hdfs讀取線程，Hdfs讀取線程把hdfs內容返回給定時器，定時器完成郵件內容和hdfs內容的對比，確定哪些郵件需要同步，定時器調用hdfs寫線程，Hdfs寫線程完成郵件跟hdfs同步。

所述的步驟③中，Hdfs寫線程將多封郵件進行歸檔后跟hdfs同步。

所述的郵件為Gmail郵件。

所述的一種便捷的備份郵件到HDFS上的方法應用于處理博客到HDFS上，具體步驟為：

①在本地系統的userspace中設置定時器，定時器定期檢查用戶博客，通過訪問博客的本地掛載點，把請求路徑交給VFS模塊，VFS將請求路徑交給fuse模塊，blog_fuse_fs文件系統實現博客的讀取，返回給fuse模塊讀取的內容，fuse模塊將博客內容返回給VFS模塊；