[發明專利]一種基于糾刪編碼的多源數據傳輸系統及方法

有效

• 申請號: 202010137637.0
• 申請日: 2020-03-02
• 公開（公告）號: CN111371888B
• 公開（公告）日: 2021-07-09
• 發明（設計）人: 羅壽西;邢煥來;李可
• 申請（專利權）人: 西南交通大學
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L12/24
• 代理公司: 成都信博專利代理有限責任公司 51200
• 代理人: 劉凱

1.一種基于糾刪編碼的多源數據傳輸系統，其特征在于，包括控制器、數據存儲者和數據請求者；

(a)控制器：控制器作為資源文件的服務前端，接收數據請求者的數據傳輸請求，記錄數據請求者的IP地址和發送該請求所用的UDP端口信息；然后向數據請求者回應所請求數據文件的大小、編碼參數，或者返回資源不可用；

(b)數據存儲者：作為數據文件的實際持有者，同一個數據對象在會在多個存儲者上存儲多份，分散在集群中的不同節點上；該不同節點采用相同的糾刪編碼方案和參數對存儲的數據進行編碼，從而保證數據請求者從不同存儲節點上獲得編碼后的碼字能夠解碼獲得原數據；

數據存儲者從控制器處獲得任務信息后，采用UDP向數據請求者發送編碼后的數據，并根據接收節點的反饋，調整發送的速率，并判斷任務是否已經完成；

(c)數據請求者：當需要獲取某個數據時，數據請求者采用UDP協議向控制器發起請求，并在相同的端口上偵聽控制器的反饋，以及數據存儲節點所推送的編碼后的數據；對于收到的每個碼字，數據請求者立即向發送者發送反饋信息，表明所收到碼字的編號，以及至少還需要該數據存儲節點發送多少數據才能進行解碼；

多源數據傳輸采用以下步驟：

步驟1：多個數據源節點采用相同的糾刪編碼將待傳輸的數據分成多段并進行編碼，獲得數量遠大于原始數據量的碼字：

設當前網絡中有A個在線的數據存儲者擁有資源URI；收到針對該資源的傳輸請求后，控制器從中挑選出S＝min(A,R)個存儲者，作為該任務的數據分發節點；R的取值是一個可配置的參數，不同的數據資源的R獨立取值，默認取3；

如果S＝0，控制器則向資源請求者返回資源不可用信息；否則返回所請求文件的大小、編碼信息；

控制器將請求者的IP地址、UDP端口號，所請求的資源描述符URI，以及被挑中的存儲者的編號，告知該S個存儲者，從而啟動傳輸過程；

對于一個給定的資源數據URI，糾刪編碼將資源文件劃分為M份再編碼獲得M+K個碼字，并依次編號1,2,3,…,M+K，其中任意的M+L個碼字能夠解碼獲得源文件；

步驟2：數據存儲者采用UDP向數據請求者發送不同的碼字避免重復傳輸；

對于資源文件URI，被選中的S個數據存儲者依次編號i＝1,2,…,S；為避免重復傳輸，第i個數據存儲者將傳輸編號為i+j*R的碼字，其中j＝0,1,2,…；且floor((M+K)/R)＝M+L，其中floor為向下取整函數；

每個碼字封裝在一個UDP報文中，該報文同時包含該碼字的編號、數據存儲者的標識、在該存儲者上的發送序號；

步驟3：數據請求者利用糾刪編碼，根據收到的足夠多的碼字解碼獲得原始數據：

數據請求者通過和碼字一起發送的存儲者的標識信息，統計當前正在工作的發送者數目S，為確保解碼成功，每個發送者需至少傳輸ceil((M+K-V)/S)個碼字；其中，ceil為下向上取整函數，V當為前已經收到的碼字數目。

2.根據權利要求1所述的基于糾刪編碼的多源數據傳輸系統，其特征在于，控制器作為數據存儲者的管理方，數據存儲者上線后需要先向控制器注冊，匯報所持有數據的情況；

運行過程中數據存儲者定期向控制器發送心跳信息報告存活狀態，上報當前傳輸任務的運行狀態和完成進度信息。

3.根據權利要求1所述的基于糾刪編碼的多源數據傳輸系統，其特征在于，所述數據請求者在給定時間內沒有收到控制器的確認反饋，則重試，直到收到或者重試次數超過設定次數；

若收到數據資源不可用，則結束；否則在發送請求所用的UDP端口上偵聽數據存儲者推送的編碼后的數據，并周期性的向控制器發送文件的接收進度，以表明其在線；

對于暫停或者故障后再次請求數據的場景，數據請求者的請求消息中，除了包含所需文件的資源描述還包含已經收到的碼字的情況。