[發(fā)明專利]一種分布式文件系統(tǒng)及文件存儲方法

有效

• 申請?zhí)枺?/td>: 201510728315.2
• 申請日: 2015-10-30
• 公開（公告）號: CN105335513B
• 公開（公告）日: 2018-09-25
• 發(fā)明（設(shè)計）人: 文武
• 申請（專利權(quán)）人: 邁普通信技術(shù)股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 成都虹橋?qū)＠聞?wù)所(普通合伙) 51124
• 代理人: 李凌峰

本發(fā)明涉及大數(shù)據(jù)技術(shù)。本發(fā)明解決了現(xiàn)有HDFS無法滿足低時間延遲的數(shù)據(jù)訪問要求的問題，提供了一種分布式文件系統(tǒng)及存儲、讀取文件方法，其技術(shù)方案可概括為：一種分布式文件系統(tǒng)，包括多個存儲節(jié)點設(shè)備和分布式內(nèi)存對象緩存系統(tǒng)Memcached數(shù)據(jù)庫，所述系統(tǒng)還包括協(xié)同服務(wù)器、存儲引擎和日志服務(wù)器，所述多個存儲節(jié)點設(shè)備分別與協(xié)同服務(wù)器及Memcached數(shù)據(jù)庫連接，存儲引擎分別與日志服務(wù)器、協(xié)同服務(wù)器及Memcached數(shù)據(jù)庫連接。本發(fā)明的有益效果是：提升用戶體驗，保證信息的及時性，適用于分布式文件系統(tǒng)。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)技術(shù)，特別涉及基于memcached的分布式文件處理技術(shù)。

背景技術(shù)

截止到2012年，數(shù)據(jù)量已經(jīng)從TB(1024GB＝1TB)級別躍升至PB(1024TB＝1PB)、EB(1024PB＝1EB)級別，乃至ZB(1024EB＝1ZB)級別。國際數(shù)據(jù)公司(IDC)的研究結(jié)果表明，2008年全球產(chǎn)生的數(shù)據(jù)量為0.49ZB，2009年的數(shù)據(jù)量為0.8ZB，2010年增長為1.2ZB，2011年的數(shù)據(jù)量更是高達1.82ZB，相當于全球每人產(chǎn)生200GB以上的數(shù)據(jù)。而到2012年為止，人類生產(chǎn)的所有印刷材料的數(shù)據(jù)量為200PB，全人類歷史上說過的所有話的數(shù)據(jù)量大約為5EB。IBM的研究稱，整個人類文明所獲得的全部數(shù)據(jù)中，有90％是過去兩年內(nèi)產(chǎn)生的。而到了2020年，全世界所產(chǎn)生的數(shù)據(jù)規(guī)模將達到今天的44倍。每一天，全世界會上傳超過5億張圖片，每分鐘就有20小時時長的視頻被分享。然而，即使是人們每天創(chuàng)造的全部信息—包括語音通話、電子郵件和信息在內(nèi)的各種通信，以及上傳的全部圖片、視頻與音樂，其信息量也無法匹及每一天所創(chuàng)造出的關(guān)于人們自身的數(shù)字信息量。這些數(shù)據(jù)具有數(shù)據(jù)量大、類型繁多、價值密度低及速度快實效高等特征。面對如此多的數(shù)據(jù)，如何將這些價值密度低的數(shù)據(jù)更好的存儲，使我們獲得更高的投資回報率將是我們面臨的問題。

分布式文件系統(tǒng)是指文件系統(tǒng)管理的物理存儲資源不一定直接連接在本地節(jié)點上，而是通過計算機網(wǎng)絡(luò)與節(jié)點相連。

在垂直搜索領(lǐng)域會需要存儲大量的數(shù)據(jù)，并且這些數(shù)據(jù)速度快實效高，需要能快速的響應(yīng)用戶需求，提升用戶體驗，HDFS(Hadoop Distributed Filesystem，Hadoop分布式文件系統(tǒng))可以滿足數(shù)據(jù)的吞吐量，而HDFS卻要付出高時延的代價，因此不能滿足低時延的業(yè)務(wù)要求，不能快讀響應(yīng)用戶請求。HDFS選取最優(yōu)節(jié)點的方法是：以兩個節(jié)點間的帶寬作為距離來衡量。HDFS將整個網(wǎng)絡(luò)看作一棵樹，兩個節(jié)點間的距離是他們到最近的共同祖先的距離總和。HDFS僅僅考慮系統(tǒng)中各個節(jié)點網(wǎng)絡(luò)環(huán)境的差異。未考慮各個節(jié)點的存儲能力，只考慮了網(wǎng)絡(luò)環(huán)境，機械的根據(jù)網(wǎng)絡(luò)拓撲來評估各個存儲節(jié)點的存儲能力，判斷依據(jù)單一，但是在我們實際的應(yīng)用中各個節(jié)點硬件的差異也比較明顯，也是影響系統(tǒng)性能的一個關(guān)鍵因素。

發(fā)明內(nèi)容

本發(fā)明的目的就是克服目前HDFS無法滿足低時間延遲的數(shù)據(jù)訪問要求的缺點，提供一種一種分布式文件系統(tǒng)及存儲、讀取文件方法。

本發(fā)明解決其技術(shù)問題，采用的技術(shù)方案是，一種分布式文件系統(tǒng)，包括多個存儲節(jié)點設(shè)備和分布式內(nèi)存對象緩存系統(tǒng)Memcached數(shù)據(jù)庫，所述系統(tǒng)還包括協(xié)同服務(wù)器、存儲引擎和日志服務(wù)器，所述多個存儲節(jié)點設(shè)備分別與協(xié)同服務(wù)器及Memcached數(shù)據(jù)庫連接，存儲引擎分別與日志服務(wù)器、協(xié)同服務(wù)器及Memcached數(shù)據(jù)庫連接，

所述協(xié)同服務(wù)器，用于負責(zé)各存儲節(jié)點設(shè)備的注冊，并定期向已注冊的各存儲節(jié)點設(shè)備發(fā)送心跳報文進行保活檢測，并將各存儲節(jié)點設(shè)備回應(yīng)的心跳報文中所攜帶的當前狀態(tài)日志信息，發(fā)送給日志服務(wù)器；

所述日志服務(wù)器，用于接收協(xié)同服務(wù)器發(fā)送的各存儲節(jié)點設(shè)備的當前狀態(tài)日志信息，計算各存儲節(jié)點設(shè)備的實時存儲能力，并同步給存儲引擎；