[發(fā)明專利]一種基于分布式存儲(chǔ)下的數(shù)字家庭內(nèi)容讀數(shù)據(jù)的方法

無(wú)效

• 申請(qǐng)?zhí)枺?/td>: 201210512498.0
• 申請(qǐng)日: 2012-12-04
• 公開（公告）號(hào): CN103853612A
• 公開（公告）日: 2014-06-11
• 發(fā)明（設(shè)計(jì)）人: 劉海亮;楊艾琳;羅笑南;蘇航;曾坤;王炫盛
• 申請(qǐng)（專利權(quán)）人: 中山大學(xué)深圳研究院
• 主分類號(hào): G06F9/50
• 分類號(hào): G06F9/50;H04L29/08
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)字家庭技術(shù)領(lǐng)域，具體涉及一種基于分布式存儲(chǔ)下的數(shù)字家庭內(nèi)容讀數(shù)據(jù)的方法。

背景技術(shù)

在數(shù)字家庭環(huán)境中，基于家庭網(wǎng)關(guān)或者智能機(jī)頂盒、智能電視盒等為中心的互動(dòng)服務(wù)是數(shù)字家庭發(fā)展的重點(diǎn)方向。家庭的互動(dòng)服務(wù)包含影音娛樂、游戲、安防等各種信息和內(nèi)容，在這種內(nèi)容豐富且分散的環(huán)境下，內(nèi)容管理顯得十分必要。一個(gè)設(shè)計(jì)良好的分布式內(nèi)容管理系統(tǒng)能夠充分的利用數(shù)字家庭中眾多家庭網(wǎng)關(guān)來(lái)提供穩(wěn)定和海量的存儲(chǔ)服務(wù)，為上層應(yīng)用提供更加豐富的內(nèi)容服務(wù)。

數(shù)字家庭的互動(dòng)應(yīng)用環(huán)境下，其涉及的內(nèi)容種類繁多，來(lái)源廣泛，業(yè)務(wù)間共用內(nèi)容，需要深入分析內(nèi)容的關(guān)聯(lián)性，整合加工內(nèi)容，提供多樣化的內(nèi)容服務(wù)，從而能夠在這種異構(gòu)環(huán)境下為用戶提供更好的服務(wù)。我們不僅要解決多媒體的存儲(chǔ)，更重要的是需要讓這些信息能夠與用戶進(jìn)行互動(dòng)。內(nèi)容管理系統(tǒng)將會(huì)提供互動(dòng)多媒體的服務(wù)，全面深入管理內(nèi)容價(jià)值鏈包括內(nèi)容獲取、內(nèi)容共享、內(nèi)容創(chuàng)新、內(nèi)容應(yīng)用，深入挖掘內(nèi)容背后的價(jià)值，實(shí)現(xiàn)內(nèi)容的增值。內(nèi)容管理系統(tǒng)的目標(biāo)在于提供統(tǒng)一有效的內(nèi)容處理和管控功能，使內(nèi)容具有重用性、彈性，降低整體開發(fā)成本。

現(xiàn)行有比較多的企業(yè)內(nèi)容管理服務(wù)系統(tǒng)以及網(wǎng)站內(nèi)容管理系統(tǒng)，還有一些面向特定行業(yè)定制的內(nèi)容管理系統(tǒng)，例如出版業(yè)內(nèi)容管理系統(tǒng)。在企業(yè)內(nèi)容管理方面，IBM內(nèi)容管理提供了一套可靠的、易升級(jí)的、強(qiáng)勁的企業(yè)內(nèi)容管理體系架構(gòu)，它也同時(shí)提供了強(qiáng)勁的、安全的和高擴(kuò)展能力的服務(wù)，使得企業(yè)用戶能非常容易地訪問電子商務(wù)的內(nèi)容。但它們是基于服務(wù)器的，我們是基于家庭網(wǎng)關(guān)。

現(xiàn)行的內(nèi)容管理系統(tǒng)是面向企業(yè)或者網(wǎng)站的，并不是面向數(shù)字家庭環(huán)境的，這些內(nèi)容管理系統(tǒng)運(yùn)行在一個(gè)穩(wěn)健的硬件環(huán)境下，而且使用客戶是特定的，經(jīng)過良好培訓(xùn)的客戶，在異構(gòu)整合方面涉及比較少，對(duì)普通或者說(shuō)硬件環(huán)境比較差的、網(wǎng)絡(luò)穩(wěn)定性差的環(huán)境并不適合；另外，在面向的客戶不同，其提供的服務(wù)也不相同，數(shù)字家庭的用戶更多的是與家庭或者社區(qū)相關(guān)、生活相關(guān)的內(nèi)容服務(wù)。

發(fā)明內(nèi)容

本發(fā)明的目的在數(shù)字家庭環(huán)境下提供一種內(nèi)容管理系統(tǒng)的存儲(chǔ)設(shè)計(jì)和實(shí)現(xiàn)，該存儲(chǔ)系統(tǒng)能夠很好的利用數(shù)字家庭大量的智能家庭網(wǎng)關(guān)提供一種分布式的、高容錯(cuò)的可移植的存儲(chǔ)提供了一種可寫入數(shù)據(jù)的方法。

本發(fā)明實(shí)施例提供了一種基于分布式存儲(chǔ)下的數(shù)字家庭內(nèi)容寫入數(shù)據(jù)的方法，該方法包括：

客戶端通過分布式文件系統(tǒng)創(chuàng)建接口請(qǐng)求創(chuàng)建文件，用于寫入數(shù)據(jù)；

分布式文件系統(tǒng)向主控節(jié)點(diǎn)NameNode發(fā)出遠(yuǎn)程過程調(diào)用RPC請(qǐng)求，并根據(jù)RPC請(qǐng)求創(chuàng)建數(shù)據(jù)流輸出對(duì)象FSDataoutputstream給客戶端用來(lái)寫入數(shù)據(jù)；

客戶端開始寫數(shù)據(jù)；

數(shù)據(jù)流輸出對(duì)象FSDataoutputstream內(nèi)部維護(hù)一個(gè)關(guān)于每個(gè)數(shù)據(jù)包是否成功被寫入的隊(duì)列；當(dāng)一個(gè)包發(fā)送出去后隊(duì)列里維護(hù)該包的一個(gè)信息項(xiàng)，當(dāng)該包的確認(rèn)信息ack返回時(shí)，該包對(duì)應(yīng)的項(xiàng)從隊(duì)列中刪除；

當(dāng)完成數(shù)據(jù)寫入之后客戶端調(diào)用流的dose方法；在通知主控節(jié)點(diǎn)NameNode之前，調(diào)用flush操作能夠確保將一些尚未傳輸完成的信息寫入到數(shù)據(jù)節(jié)點(diǎn)中；

寫數(shù)據(jù)完成，通知主控節(jié)點(diǎn)，在主控節(jié)點(diǎn)中會(huì)維護(hù)該文件的屬性信息。

所述分布式文件系統(tǒng)向主控節(jié)點(diǎn)NameNode發(fā)出遠(yuǎn)程過程調(diào)用RPC請(qǐng)求，并根據(jù)RPC請(qǐng)求創(chuàng)建數(shù)據(jù)流輸出對(duì)象FSDataoutputstream給客戶端用來(lái)寫入數(shù)據(jù)包括：

在NameNode中創(chuàng)建文件，但此時(shí)并不分配任何存儲(chǔ)塊，相當(dāng)于在主控節(jié)點(diǎn)注冊(cè)一樣；NameNede進(jìn)行很多檢查來(lái)保證不存在要?jiǎng)?chuàng)建的文件已經(jīng)存在于文件系統(tǒng)中，檢查是否有相應(yīng)的權(quán)限來(lái)創(chuàng)建文件；如果這些檢查都完成了，NameNode將記錄下來(lái)這個(gè)新文件的信息，否則文件創(chuàng)建失敗，并且客戶端會(huì)收到一個(gè)IoExpection；如果創(chuàng)建成功，分布式文件系統(tǒng)返回一個(gè)數(shù)據(jù)流輸出對(duì)象FSDataoutputstream給客戶端用來(lái)寫入數(shù)據(jù)。這個(gè)數(shù)據(jù)流對(duì)象將負(fù)責(zé)客戶端和分布式文件系統(tǒng)中的數(shù)據(jù)節(jié)點(diǎn)之間的通信工作。

所述客戶端開始寫數(shù)據(jù)包括：

DFSDataoutputstream把要寫入的數(shù)據(jù)分成包，并將它們寫入到一個(gè)數(shù)據(jù)隊(duì)列中；主控節(jié)點(diǎn)NameNode分配一些數(shù)據(jù)節(jié)點(diǎn)來(lái)接收本次寫操作的數(shù)據(jù)流，這些數(shù)據(jù)數(shù)據(jù)節(jié)點(diǎn)組成一個(gè)流水結(jié)構(gòu)的數(shù)據(jù)管道，數(shù)據(jù)流對(duì)象將數(shù)據(jù)首先寫入到流水線中的第一個(gè)節(jié)點(diǎn)。

當(dāng)主控節(jié)點(diǎn)NameNode分配的數(shù)據(jù)節(jié)點(diǎn)為三個(gè)時(shí)，由第一個(gè)節(jié)點(diǎn)將數(shù)據(jù)包傳送并寫入到第二個(gè)節(jié)點(diǎn)，然后第二個(gè)將數(shù)據(jù)包傳送并寫入到第三個(gè)節(jié)點(diǎn)。