[發(fā)明專利]一種文件處理方法和裝置

在審

• 申請?zhí)枺?/td>: 201611022842.2
• 申請日: 2016-11-18
• 公開（公告）號: CN106776720A
• 公開（公告）日: 2017-05-31
• 發(fā)明（設(shè)計）人: 盧加磊;余曉兵;唐澤宇
• 申請（專利權(quán)）人: 北京奇虎科技有限公司;奇智軟件（北京）有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京潤澤恒知識產(chǎn)權(quán)代理有限公司11319
• 代理人: 劉祥景

技術(shù)領(lǐng)域

本發(fā)明涉及存儲技術(shù)領(lǐng)域，特別是涉及一種文件處理方法和一種文件處理裝置。

背景技術(shù)

隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展和大數(shù)據(jù)時代的到來，出現(xiàn)了各種各樣的云計算服務(wù)，目前的云計算服務(wù)可以將海量的文件存儲在分布式文件系統(tǒng)中，并向應(yīng)用程序提供文件獲取服務(wù)。對于需要實時處理的在線應(yīng)用程序而言，分布式文件系統(tǒng)中文件的獲取性能會直接影響到其對應(yīng)請求的響應(yīng)時間，因此對分布式文件系統(tǒng)中文件的獲取性能提出了較高的要求。

HDFS(Hadoop分布式文件系統(tǒng)，Hadoop Distributed File System)具有高容錯性的特點，它將數(shù)據(jù)以一個或多個副本的形式分散存儲在多臺計算設(shè)備上，可以存儲海量數(shù)據(jù)，并且可靠性高，提供對數(shù)據(jù)快速的、可擴展的訪問，適用于一次寫入、多次讀取的訪問模式。

發(fā)明人在實施例本發(fā)明的過程中發(fā)現(xiàn)，現(xiàn)有的HDFS是通過文件列表枚舉方式獲取文件的。具體地，HDFS的名稱節(jié)點需要維護文件目錄與數(shù)據(jù)塊之間的關(guān)系、以及數(shù)據(jù)塊與數(shù)據(jù)節(jié)點之間的關(guān)系，這樣，在接收來自客戶端的文件訪問請求后，需要依據(jù)文件目錄與數(shù)據(jù)塊之間的關(guān)系查詢組成待訪問文件的數(shù)據(jù)塊列表，并依據(jù)該數(shù)據(jù)塊與數(shù)據(jù)節(jié)點之間的關(guān)系查詢該數(shù)據(jù)塊列表被存儲在哪幾個數(shù)據(jù)節(jié)點上，然后從查詢得到的數(shù)據(jù)節(jié)點上讀取待訪問文件的數(shù)據(jù)。可見，現(xiàn)有的HDFS獲取文件的過程較為繁瑣，因此影響了文件的獲取效率，進而影響了在線應(yīng)用程序的響應(yīng)性能。

發(fā)明人在實施例本發(fā)明的過程中還發(fā)現(xiàn)，現(xiàn)有的HDFS僅僅適用于一次寫入、多次查詢的情況，而不支持并發(fā)寫的情況，這樣將影響在線應(yīng)用程序的吞吐量。

發(fā)明內(nèi)容

鑒于上述問題，提出了本發(fā)明以便提供一種克服上述問題或者至少部分地解決上述問題的一種文件處理方法和一種文件處理裝置。

依據(jù)本發(fā)明的一個方面，提供了一種文件處理方法，包括：

接收文件處理請求；

對所述文件處理請求對應(yīng)待處理文件所屬的文件目錄進行加鎖；所述待處理文件的基本信息存儲于第一文件系統(tǒng)，所述待處理文件的文件內(nèi)容存儲于第二文件系統(tǒng)；

從第一分布式文件系統(tǒng)上讀取所述待處理文件的基本信息；所述基本信息包括：文件在第二分布式文件系統(tǒng)上的存儲路徑；

依據(jù)所述待處理文件的基本信息，對所述文件處理請求進行處理。

可選地，所述文件處理請求包括：文件下載請求，所述依據(jù)所述待處理文件的基本信息，對所述文件處理請求進行處理的步驟，包括：

依據(jù)所述存儲路徑，從所述第二分布式文件系統(tǒng)上讀取所述待處理文件的文件內(nèi)容；

下載所述待處理文件的文件內(nèi)容。

可選地，所述文件處理請求包括：文件刪除請求，所述依據(jù)所述待處理文件的基本信息，對所述文件處理請求進行處理的步驟，包括：

依據(jù)所述存儲路徑，在所述第二分布式文件系統(tǒng)上刪除所述待處理文件的文件內(nèi)容；

在所述第一分布式文件系統(tǒng)上刪除所述待處理文件的基本信息。

可選地，所述文件處理請求包括：文件狀態(tài)查詢請求，所述基本信息還包括文件狀態(tài)信息，所述依據(jù)所述待處理文件的基本信息，對所述文件處理請求進行處理的步驟，包括：

從所述待處理文件的基本信息中獲取文件狀態(tài)信息，并將所述文件狀態(tài)信息作為處理結(jié)果返回。

可選地，所述文件處理請求包括：文件上傳請求，所述基本信息還包括：上傳完成標識，所述依據(jù)所述待處理文件的基本信息，對所述文件處理請求進行處理的步驟，包括：

依據(jù)所述基本信息中的上傳完成標識，判斷是否完成所述待處理文件的上傳；

當確定完成所述待處理文件的上傳時，返回完成上傳的處理結(jié)果。

可選地，所述基本信息還包括：處理狀態(tài)標識，所述依據(jù)所述待處理文件的基本信息，對所述文件處理請求進行處理的步驟，還包括：

當確定未完成所述待處理文件的上傳時，依據(jù)所述基本信息中的處理狀態(tài)標識判斷所述待處理文件是否存在處理異常；

當確定所述待處理文件存在處理異常時，在第二文件系統(tǒng)上進行所述待處理文件的異常處理；

在完成所述異常處理后，依據(jù)所述待處理文件在第二文件系統(tǒng)上的存儲狀態(tài)判斷所述待處理文件是否被成功上傳；

當確定所述待處理文件被成功上傳時，返回成功上傳的處理結(jié)果。

可選地，所述依據(jù)所述待處理文件的基本信息，對所述文件處理請求進行處理的步驟，還包括：