[發明專利]一種基于分布式存儲下的數字家庭內容讀數據的方法

無效

• 申請號: 201210512498.0
• 申請日: 2012-12-04
• 公開（公告）號: CN103853612A
• 公開（公告）日: 2014-06-11
• 發明（設計）人: 劉海亮;楊艾琳;羅笑南;蘇航;曾坤;王炫盛
• 申請（專利權）人: 中山大學深圳研究院
• 主分類號: G06F9/50
• 分類號: G06F9/50;H04L29/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于分布式存儲下的數字家庭內容寫入數據的方法，其特征在于，該方法包括：

客戶端通過分布式文件系統創建接口請求創建文件，用于寫入數據；

分布式文件系統向主控節點NameNode發出遠程過程調用RPC請求，并根據RPC請求創建數據流輸出對象FSDataoutputstream給客戶端用來寫入數據；

客戶端開始寫數據；

數據流輸出對象FSDataoutputstream內部維護一個關于每個數據包是否成功被寫入的隊列；當一個包發送出去后隊列里維護該包的一個信息項，當該包的確認信息ack返回時，該包對應的項從隊列中刪除；

當完成數據寫入之后客戶端調用流的dose方法；在通知主控節點NameNode之前，調用flush操作能夠確保將一些尚未傳輸完成的信息寫入到數據節點中；

寫數據完成，通知主控節點，在主控節點中會維護該文件的屬性信息。

2.如權利要求1所述的基于分布式存儲下的數字家庭內容讀數據的方法，其特征在于，所述分布式文件系統向主控節點NameNode發出遠程過程調用RPC請求，并根據RPC請求創建數據流輸出對象FSDataoutputstream給客戶端用來寫入數據包括：

在NameNode中創建文件，但此時并不分配任何存儲塊，相當于在主控節點注冊一樣；NameNede進行很多檢查來保證不存在要創建的文件已經存在于文件系統中，檢查是否有相應的權限來創建文件；如果這些檢查都完成了，NameNode將記錄下來這個新文件的信息，否則文件創建失敗，并且客戶端會收到一個IoExpection；如果創建成功，分布式文件系統返回一個數據流輸出對象FSDataoutputstream給客戶端用來寫入數據。這個數據流對象將負責客戶端和分布式文件系統中的數據節點之間的通信工作。

3.如權利要求2所述的基于分布式存儲下的數字家庭內容讀數據的方法，其特征在于，所述客戶端開始寫數據包括：

DFSDataoutputstream把要寫入的數據分成包，并將它們寫入到一個數據隊列中；主控節點NameNode分配一些數據節點來接收本次寫操作的數據流，這些數據數據節點組成一個流水結構的數據管道，數據流對象將數據首先寫入到流水線中的第一個節點。

4.如權利要求3所述的基于分布式存儲下的數字家庭內容寫入數據的方法，當主控節點NameNode分配的數據節點為三個時，由第一個節點將數據包傳送并寫入到第二個節點，然后第二個將數據包傳送并寫入到第三個節點。

5.如權利要求4所述的基于分布式存儲下的數字家庭內容讀數據的方法，其特征在于，所述客戶端和數據節點DataNode之間進行的是數據通信，和主控節點之間進行的是控制通信。

6.如權利要求5所述的基于分布式存儲下的數字家庭內容讀數據的方法，其特征在于，所述分布式存儲方式為采用Java內容倉庫JSR-170為上層服務層提供主要調用接口；針對內容管理系統對Hadoop的改進和相關功能的增加。