[發明專利]一種基于分布式平臺的大數據傳輸系統

在審

• 申請號: 201711429231.4
• 申請日: 2017-12-26
• 公開（公告）號: CN108173924A
• 公開（公告）日: 2018-06-15
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 北京永洪商智科技有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L29/06
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于分布式平臺的大數據傳輸系統，所述系統包括：

多臺服務器，對其進行聯網以調配成分布式平臺，所述分布式平臺至少包括：主服務器，Map服務器，Reduce服務器；其中

通過所述主服務器上的數據庫管理界面，連接到數據庫，讀取原始數據列表，再將數據列表存儲到Map服務器上；

所述主服務器向所述Map服務器發起請求，首先獲得所述主服務器與所述Map服務器之間的Socket通道；

當所述主服務器獲得某一Socket通道，將數據寫入所述Socket通道對應的寫內存塊，所述寫內存塊有消息機制通知寫線程去寫數據到所述Socket通道中；

在寫數據前，先寫入一個字節的標識0x95，再寫入到達Map服務器所需初始化的任務的class名；

當完成寫數據的任務，所述Socket通道就可以被釋放，以供別的任務使用；

當所述主服務器寫出數據之后，所述Map服務器對應的Socket通道有數據送過來，有消息機制通知讀線程去把Socket通道中的數據讀取出來并存儲到讀內存塊中；

先讀取標識位，查看第一個字節是不是標識0x95，再讀取最前面的字符串來生成任務的class，將該任務初始化后，再開始讀取所需要的數據；

讀取數據完畢之后，將不再綁定所述Socket通道，所述Socket通道重新進入等待狀態，等待接收并讀取新的數據；

當所述Map服務器執行完任務，并計算出中間結果，需要將該中間結果發送給所述Reduce服務器；

當所述Reduce服務器執行完任務，將最終結果發送給所述主服務器；

所述主服務器接收最終結果，并用可視化的形式呈現給用戶。

2.根據權利要求1的基于分布式平臺的大數據傳輸系統，其中所述的服務器共有三臺，分別被配置成一臺主服務器，一臺Map服務器，一臺Reduce服務器。

3.根據權利要求1或2的基于分布式平臺的大數據傳輸系統，其中設定每臺服務器最大允許建立的通道數為2，因此每臺服務器具有4個出口Socket通道和4個入口Socket通道。

4.根據權利要求3的基于分布式平臺的大數據傳輸系統，其中每臺服務器為其4個出口Socket通道分配一個寫數據的內存塊，該內存塊大小為5M；此外，還具有一個線程專門負責寫數據，收到通知就寫數據，沒有就等待。

5.根據權利要求3的基于分布式平臺的大數據傳輸系統，其中所述主服務器請求Socket通道，如果該通道沒有開通，那就先創建Socket通道連接；如果Socket通道有，但被占用，則查看是否可以開啟新通道；如果當前只有一個通道開啟，就再開啟新通道；如果通道數已滿2個，就等待，直到有通道閑置再使用。

6.根據權利要求3的基于分布式平臺的大數據傳輸系統，其中所述Map服務器作為新的信息發起方，請求通道，占用通道，發送結果給Map服務器，并釋放通道；而Reduce服務器作為新的信息接收方，讀取數據，將任務放入線程池，執行任務。