[發(fā)明專利]數(shù)據(jù)切分的傳輸裝置與系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201310741620.6
• 申請日: 2013-12-27
• 公開（公告）號: CN103699495A
• 公開（公告）日: 2014-04-02
• 發(fā)明（設(shè)計）人: 于鳳東;張磊;馬一鳴
• 申請（專利權(quán)）人: 樂視網(wǎng)信息技術(shù)（北京）股份有限公司
• 主分類號: G06F12/06
• 分類號: G06F12/06;G06F3/06;H04L29/08
• 代理公司: 北京國昊天誠知識產(chǎn)權(quán)代理有限公司 11315
• 代理人: 許志勇

技術(shù)領(lǐng)域

本申請涉及數(shù)據(jù)傳輸?shù)南到y(tǒng)，具體涉及一種數(shù)據(jù)切分的傳輸裝置與系統(tǒng)。

背景技術(shù)

隨著網(wǎng)絡(luò)流量的快速成長，許多過去不容易實現(xiàn)的服務(wù)也可以被輕易的完成。例如：寬帶的上傳多媒體文件(multimedia?file)。由于海量的傳輸仍會影響本地端的負荷量。因此在已知的多媒體本地端也會具備帶寬管理(Bandwidth?Manager)的功能。本地端可以透過帶寬分布或緩存等方式減輕同時間的資料傳輸量。

此外，所述的傳輸方式更結(jié)合了多個實體磁盤，使得數(shù)據(jù)可以同步的寫入所述磁盤中。而現(xiàn)有技術(shù)對數(shù)據(jù)寫入磁盤的方式，是將數(shù)據(jù)同步的由來源端寫入本地端中。本地端會暫存這些數(shù)據(jù)文件。之后，本地端在將這些數(shù)據(jù)文件分批的寫入實體磁盤。

這種寫入的方式的實現(xiàn)成本低廉且快速。但是數(shù)據(jù)寫入的過程中若發(fā)生錯誤，則數(shù)據(jù)只能重新寫入。因此數(shù)據(jù)重新傳輸?shù)臅r間就會拉長，而且也會增加網(wǎng)絡(luò)帶寬的負載。此外，同一份數(shù)據(jù)文件除了要從客戶端中重新載入，而且也要在本地端內(nèi)部重新傳輸，也會導(dǎo)致數(shù)據(jù)重新傳輸?shù)臅r間拉長，增加網(wǎng)絡(luò)帶寬的負載。

發(fā)明內(nèi)容

本申請所要解決的技術(shù)問題在于提供一種數(shù)據(jù)切分的傳輸裝置，避免數(shù)據(jù)文件在寫入磁盤陣列時所發(fā)生錯誤，導(dǎo)致重新傳輸數(shù)據(jù)文件而延長數(shù)據(jù)存儲和傳輸時間，加重網(wǎng)絡(luò)帶寬負載。

為了解決上述問題，本申請揭示了一種數(shù)據(jù)切分的傳輸裝置包括：接收模塊，用于接收客戶端的數(shù)據(jù)文件；內(nèi)存模塊，連接于所述接收模塊，所述內(nèi)存模塊用于存儲數(shù)據(jù)文件；分散式文件裝置，用于存儲目標文件；處理模塊，連接于所述接收模塊、所述內(nèi)存模塊與所述分散式文件裝置，所述處理模塊為接收模塊接收到的數(shù)據(jù)文件創(chuàng)建相應(yīng)的內(nèi)部隊列，每一所述內(nèi)部隊列用于存儲對應(yīng)的數(shù)據(jù)文件的路徑資訊；所述處理模塊，還用于根據(jù)內(nèi)部隊列中的路徑資訊將所述數(shù)據(jù)文件切分為多個切分片段，并行讀取每一切分片段并且將所述每一切分片段分別寫入分散式文件裝置中的目標文件。

進一步地包括所述接收模塊透過英特網(wǎng)絡(luò)或區(qū)域網(wǎng)絡(luò)連接于客戶端。

進一步地包括所述處理模塊還用于生成多個工作線程，所述工作線程的數(shù)量與對應(yīng)的數(shù)據(jù)文件的切分片段的數(shù)量相同；由每一工作線程并行讀取每一切分片段并且將所述每一切分片段同時寫入分散式文件裝置中的目標文件。

進一步地所述處理模塊進一步監(jiān)視所述內(nèi)部隊列與所述數(shù)據(jù)文件是否有異動。

進一步地包括分散式文件裝置的種類包括：磁盤、磁帶或網(wǎng)絡(luò)存儲設(shè)備。

為了解決上述問題，本申請揭示了一種數(shù)據(jù)切分的傳輸系統(tǒng)，包括：客戶端，用于上傳數(shù)據(jù)文件；本地端，透過英特網(wǎng)絡(luò)或區(qū)域網(wǎng)絡(luò)連接于客戶端，所述本地端包括分散式文件裝置，所述本地端為接收的所述數(shù)據(jù)文件創(chuàng)建相應(yīng)的內(nèi)部隊列，并將接收的所述數(shù)據(jù)文件存儲于所述內(nèi)部隊列中，所述本地端在將數(shù)據(jù)文件切分為多個切分片段之后，并行讀取所述切分片段并將所述切分片段同時寫入所述分散式文件裝置中的目標文件。

進一步地包括至少一心跳服務(wù)器，所述心跳服務(wù)器連接于所述本地端，所述本地端向心跳服務(wù)器發(fā)送心跳要求，所述心跳服務(wù)器向所述本地端發(fā)送回應(yīng)訊息。

進一步地包括所述心跳服務(wù)器輪流的接收自于所述控制模組的所述心跳要求。

進一步地包括所述本地端記錄所述數(shù)據(jù)文件的每一切分片段的起始位置與偏移量。

與現(xiàn)有技術(shù)相比，本申請可以獲得包括以下技術(shù)效果：

1）本申請改進數(shù)據(jù)文件的傳輸過程，數(shù)據(jù)文件寫入時若發(fā)生錯誤，本申請不需重新從客戶端中取得數(shù)據(jù)文件。

2）本申請若于傳輸數(shù)據(jù)文件的期間中發(fā)生錯誤，本申請可以透過至少一臺心跳服務(wù)器發(fā)報給后臺人員，使得后臺人員可以實時的得知何項組件發(fā)生異常。

當(dāng)然，實施本申請的任一產(chǎn)品必不一定需要同時達到以上所述的所有技術(shù)效果。

附圖說明

此處所說明的附圖用來提供對本申請的進一步理解，構(gòu)成本申請的一部分，本申請的示意性實施例及其說明用于解釋本申請，并不構(gòu)成對本申請的不當(dāng)限定。在附圖中：

圖1A是本申請實施例的系統(tǒng)架構(gòu)示意圖。

圖1B是本申請實施例的本地端架構(gòu)示意圖。

圖2是本申請實施例的運作流程示意圖。

具體實施方式

以下將配合附圖及實施例來詳細說明本申請的實施方式，藉此對本申請如何應(yīng)用技術(shù)手段來解決技術(shù)問題并達成技術(shù)功效的實現(xiàn)過程能充分理解并據(jù)以實施。