[發(fā)明專利]文件管理方法和系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201410277382.2
• 申請(qǐng)日: 2014-06-20
• 公開（公告）號(hào): CN105279166B
• 公開（公告）日: 2019-01-25
• 發(fā)明（設(shè)計(jì)）人: 黃喆
• 申請(qǐng)（專利權(quán)）人: 中國電信股份有限公司
• 主分類號(hào): G06F16/182
• 分類號(hào): G06F16/182;G06F16/13;G06F16/16
• 代理公司: 中國國際貿(mào)易促進(jìn)委員會(huì)專利商標(biāo)事務(wù)所 11038
• 代理人: 劉劍波

本發(fā)明公開一種文件管理方法和系統(tǒng)。其中在文件管理方法中，文件管理裝置以預(yù)定的時(shí)間間隔，統(tǒng)計(jì)在指定時(shí)間范圍內(nèi)針對(duì)存儲(chǔ)在元數(shù)據(jù)節(jié)點(diǎn)和存儲(chǔ)節(jié)點(diǎn)中的文件的讀寫次數(shù)。文件管理裝置選擇出前N個(gè)讀寫次數(shù)最大的文件，在前N個(gè)讀寫次數(shù)最大的文件中，文件管理裝置判斷是否存在第一遷移文件，其中第一遷移文件屬于前N個(gè)讀寫次數(shù)最大的文件，且存儲(chǔ)在存儲(chǔ)節(jié)點(diǎn)中。若存在第一遷移文件，則文件管理裝置向元數(shù)據(jù)節(jié)點(diǎn)發(fā)送第一遷移請(qǐng)求，元數(shù)據(jù)節(jié)點(diǎn)接收到第一遷移請(qǐng)求后，從相應(yīng)的存儲(chǔ)節(jié)點(diǎn)獲取第一遷移文件以進(jìn)行本地存儲(chǔ)。通過將頻繁讀寫的文件直接存放在元數(shù)據(jù)節(jié)點(diǎn)中，從而提升了文件讀寫速度。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)存儲(chǔ)領(lǐng)域，特別涉及一種文件管理方法和系統(tǒng)。

背景技術(shù)

分布式文件系統(tǒng)將大文件分塊存儲(chǔ)在各存儲(chǔ)節(jié)點(diǎn)中，實(shí)現(xiàn)了文件多節(jié)點(diǎn)并行讀寫，如圖1所示。但在每次讀寫時(shí)，需先從元數(shù)據(jù)節(jié)點(diǎn)查詢存儲(chǔ)文件的節(jié)點(diǎn)。一旦頻繁讀寫小文件(小于最小分塊，HDFS(Hadoop Distributed File System，Hadoop分布式文件系統(tǒng))定義為64M)，查詢的時(shí)間甚至超過讀寫文件時(shí)間，嚴(yán)重影響了系統(tǒng)效率。

由于在元數(shù)據(jù)節(jié)點(diǎn)的內(nèi)存中存在大量的文件索引條目，因此在主備節(jié)點(diǎn)數(shù)據(jù)備份過程中，需進(jìn)行大量?jī)?nèi)存數(shù)據(jù)的頻繁拷貝，長(zhǎng)時(shí)間占據(jù)系統(tǒng)計(jì)算與帶寬資源，影響核心業(yè)務(wù)質(zhì)量。

Yahoo提出了采用HAR(Hadoop Archive)的方法，可以將眾多小文件打包成Chunk進(jìn)行存儲(chǔ)，打包后的Chunk由索引和存儲(chǔ)兩大部分組成，如圖2所示。但是若對(duì)打包后小文件進(jìn)行修改，需要對(duì)Chunk進(jìn)行解包處理，導(dǎo)致浪費(fèi)了大量時(shí)間與性能開銷。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供一種文件管理方法和系統(tǒng)。通過將頻繁讀寫的文件直接存放在元數(shù)據(jù)節(jié)點(diǎn)中，從而提升了文件讀寫速度。

根據(jù)本發(fā)明的一個(gè)方面，提供一種文件管理方法，包括：

文件管理裝置以預(yù)定的時(shí)間間隔，統(tǒng)計(jì)在指定時(shí)間范圍內(nèi)針對(duì)存儲(chǔ)在元數(shù)據(jù)節(jié)點(diǎn)和存儲(chǔ)節(jié)點(diǎn)中的文件的讀寫次數(shù)；

文件管理裝置選擇出前N個(gè)讀寫次數(shù)最大的文件；

在前N個(gè)讀寫次數(shù)最大的文件中，文件管理裝置判斷是否存在第一遷移文件，其中第一遷移文件屬于前N個(gè)讀寫次數(shù)最大的文件，且存儲(chǔ)在存儲(chǔ)節(jié)點(diǎn)中；

若存在第一遷移文件，則文件管理裝置向元數(shù)據(jù)節(jié)點(diǎn)發(fā)送第一遷移請(qǐng)求；

元數(shù)據(jù)節(jié)點(diǎn)接收到第一遷移請(qǐng)求后，從相應(yīng)的存儲(chǔ)節(jié)點(diǎn)獲取第一遷移文件以進(jìn)行本地存儲(chǔ)。

在一個(gè)實(shí)施例中，元數(shù)據(jù)節(jié)點(diǎn)接收到第一遷移請(qǐng)求后，從相應(yīng)的存儲(chǔ)節(jié)點(diǎn)獲取第一遷移文件以進(jìn)行本地存儲(chǔ)的步驟包括：

元數(shù)據(jù)節(jié)點(diǎn)接收到第一遷移請(qǐng)求后，從相應(yīng)的存儲(chǔ)節(jié)點(diǎn)獲取第一遷移文件；

元數(shù)據(jù)節(jié)點(diǎn)在本地索引中建立索引數(shù)據(jù)區(qū)映射，將第一遷移文件存儲(chǔ)在元數(shù)據(jù)節(jié)點(diǎn)中相應(yīng)的數(shù)據(jù)區(qū)；

元數(shù)據(jù)節(jié)點(diǎn)更新第一索引，并指示相應(yīng)的存儲(chǔ)節(jié)點(diǎn)更新第二索引，以便刪除與第一遷移文件相關(guān)聯(lián)的映射信息，其中第一索引和第二索引中包括存儲(chǔ)在存儲(chǔ)節(jié)點(diǎn)中文件的映射信息。

在一個(gè)實(shí)施例中，文件管理裝置以預(yù)定的時(shí)間間隔，統(tǒng)計(jì)在指定時(shí)間范圍內(nèi)針對(duì)存儲(chǔ)在元數(shù)據(jù)節(jié)點(diǎn)和存儲(chǔ)節(jié)點(diǎn)中的文件的讀寫次數(shù)之后，還包括：

文件管理裝置選擇出前M個(gè)讀寫次數(shù)最小的文件；

在前M個(gè)讀寫次數(shù)最小的文件中，文件管理裝置判斷是否存在第二遷移文件，其中第二遷移文件屬于前M個(gè)讀寫次數(shù)最小的文件，且存儲(chǔ)在元數(shù)據(jù)節(jié)點(diǎn)中；

若存在第二遷移文件，則文件管理裝置向元數(shù)據(jù)節(jié)點(diǎn)發(fā)送第二遷移請(qǐng)求；