[發(fā)明專利]一種便捷的備份郵件到HDFS上的方法

在審

• 申請?zhí)枺?/td>: 201410845600.8
• 申請日: 2014-12-31
• 公開（公告）號: CN104407946A
• 公開（公告）日: 2015-03-11
• 發(fā)明（設計）人: 李占強;辛國茂
• 申請（專利權）人: 浪潮電子信息產(chǎn)業(yè)股份有限公司
• 主分類號: G06F11/14
• 分類號: G06F11/14;G06F17/30
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 姜明

技術領域

本發(fā)明公開一種便捷的備份郵件到HDFS上的方法,屬于大數(shù)據(jù)管理領域。

背景技術

Hadoop利用HDFS，Hadoop?Distributed?File?System，分布式文件系統(tǒng)存儲數(shù)據(jù)，利用namenode來存儲文件系統(tǒng)的元數(shù)據(jù)，datanode用于存儲數(shù)據(jù)本身。并且為了避免SPOF，Single?Point?of?Failure，單一故障點問題的產(chǎn)生，namenode元數(shù)據(jù)節(jié)點支持HA軟件特性。Namenode支持HA特性可以保證元數(shù)據(jù)的安全性。同樣的，為了保證數(shù)據(jù)的安全性，避免數(shù)據(jù)丟失。HDFS引入了文件備份機制，默認情況下是一備三，即一個文件有三個備份。并且HDFS的HA和備份機制可以兼用于重要文件的保存。

目前Google增大Gmail郵箱空間之后，各大郵件服務提供商也相繼跟風。郵箱的容量以數(shù)十GB甚至上百GB計量的，意味著郵箱可以存儲的郵件更多，單封郵件可以存儲的時間更長。如今人與人的溝通交流的方式尤其是大公司、大企業(yè)內部的信息交流以郵件為主。如何讓郵件信息的快捷保存以便交流，并且不會因服務提供商的服務器被黑、服務提供商的信息遷移、公司內鬼等因素導致用戶郵件丟失，成為亟待解決的問題。本發(fā)明針對上述問題提出的一種便捷的備份郵件到HDFS上的方法，利用fuse把郵件和HDFS分別都掛在為本地文件系統(tǒng)的一個目錄，利用定時器定期檢查郵箱的更新情況，如果郵件有變動就啟動文件拷貝線程把郵件掛載點下的更新的郵件拷貝到HDFS掛載點的相應的目錄下，整個過程就像操作本地文件一樣，大大簡化了以往備份郵件的復雜操作，提升了工作效率，更重要的是通過本發(fā)明方法可以把郵件安全備份到HDFS，避免重要郵件丟失造成的損失。

發(fā)明內容

本發(fā)明針對如何讓郵件信息的快捷保存以便交流，并且不會因服務提供商的服務器被黑、服務提供商的信息遷移、公司內鬼等因素導致用戶郵件丟失的問題，提供一種便捷的備份郵件到HDFS上的方法，簡化了以往備份郵件的復雜操作，提升了工作效率，更重要的是通過本發(fā)明方法可以把郵件安全備份到HDFS，避免重要郵件丟失造成的損失。

本發(fā)明方法主要是基于fuse來實現(xiàn)的。fuse在用戶態(tài)實現(xiàn)文件系統(tǒng)的接口。Linux發(fā)行版都在內核集成了fuse模塊，可以通過modprobe?fuse命令來啟用fuse模塊。要把郵箱空間掛載到Linux本地文件系統(tǒng)上基于fuse實現(xiàn)一個文件系統(tǒng)，python的imap可以勝任這一需求，我們把該文件系統(tǒng)統(tǒng)一稱為mail_fuse_fs。此外???Hadoop發(fā)行版已經(jīng)利用fuse實現(xiàn)了把hdfs掛在為本地文件系統(tǒng)的功能。用戶只需要編譯相應的模塊就可以使用。

通過利用上述技術將郵件和HDFS都掛載到本地文件系統(tǒng)上。可以像操作本地文件一樣對這兩個掛載目錄進行同步。本方法使用定時器來定期進行郵件和HDFS的同步。本方法不僅適用于郵件的備份，博客、網(wǎng)盤的備份同樣也可以采用本方法。

本發(fā)明提出的具體方案是：

一種便捷的備份郵件到HDFS上的方法,具體步驟為：

①在本地系統(tǒng)的userspace中設置定時器，定時器定期檢查用戶郵箱，通過訪問郵件的本地掛載點，把請求路徑交給VFS模塊，VFS將請求路徑交給fuse模塊，mail_fuse_fs文件系統(tǒng)實現(xiàn)郵件的讀取，返回給fuse模塊讀取的內容，fuse模塊將郵件內容返回給VFS模塊；

②VFS模塊將內容返回給讀取線程，讀取線程將讀取的內容返回給定時器，定時器讀取hdfs在本地掛載點目錄，Hdfs讀取線程訪問VFS，VFS訪問fuse，fuse調用hdfs?fuse模塊讀取hdfs內容；

③VFS把讀取內容返回給hdfs讀取線程，Hdfs讀取線程把hdfs內容返回給定時器，定時器完成郵件內容和hdfs內容的對比，確定哪些郵件需要同步，定時器調用hdfs寫線程，Hdfs寫線程完成郵件跟hdfs同步。

所述的步驟③中，Hdfs寫線程將多封郵件進行歸檔后跟hdfs同步。

所述的郵件為Gmail郵件。

所述的一種便捷的備份郵件到HDFS上的方法應用于處理博客到HDFS上，具體步驟為：

①在本地系統(tǒng)的userspace中設置定時器，定時器定期檢查用戶博客，通過訪問博客的本地掛載點，把請求路徑交給VFS模塊，VFS將請求路徑交給fuse模塊，blog_fuse_fs文件系統(tǒng)實現(xiàn)博客的讀取，返回給fuse模塊讀取的內容，fuse模塊將博客內容返回給VFS模塊；