[發(fā)明專(zhuān)利]大數(shù)據(jù)一體機(jī)

在審

• 申請(qǐng)?zhí)枺?/td>: 201611119857.0
• 申請(qǐng)日: 2016-12-08
• 公開(kāi)（公告）號(hào): CN108200109A
• 公開(kāi)（公告）日: 2018-06-22
• 發(fā)明（設(shè)計(jì)）人: 楊余旺;唐浩;汪倩云;李玉波;韓晨;葉磊;柯亞琪;夏吉安
• 申請(qǐng)（專(zhuān)利權(quán)）人: 南京海道普數(shù)據(jù)技術(shù)有限公司
• 主分類(lèi)號(hào): H04L29/08
• 分類(lèi)號(hào): H04L29/08;G06F17/30
• 代理公司: 南京理工大學(xué)專(zhuān)利中心 32203
• 代理人: 王瑋

1.一種大數(shù)據(jù)一體機(jī)，其特征在于：包含企業(yè)級(jí)路由器模塊、千兆以太網(wǎng)交換機(jī)模塊、多電腦切換器模塊、服務(wù)器集群模塊和供電模塊；企業(yè)級(jí)路由器模塊連接千兆以太網(wǎng)交換機(jī)模塊與互聯(lián)網(wǎng)，千兆以太網(wǎng)交換機(jī)模塊連接企業(yè)級(jí)路由器模塊和服務(wù)器集群模塊，多電腦切換器模塊KVM與服務(wù)器集群模塊相連，供電模塊為大數(shù)據(jù)一體機(jī)供電；在集群中所有服務(wù)器上采用SSD磁盤(pán)陣列進(jìn)行數(shù)據(jù)存儲(chǔ)。

2.根據(jù)權(quán)利要求1所述的大數(shù)據(jù)一體機(jī)，其特征在于：所述企業(yè)級(jí)路由器模塊包含一臺(tái)華為AR1220路由器，使得服務(wù)器主機(jī)可以訪(fǎng)問(wèn)互聯(lián)網(wǎng)；在網(wǎng)絡(luò)中劃分VLAN，在路由器模塊上配置訪(fǎng)問(wèn)控制列表（ACL），使得外網(wǎng)不能訪(fǎng)問(wèn)內(nèi)網(wǎng)的任何端口；配置公有IP地址：202.119.84.75并與域名：www.hadoopnj.com綁定。

3.根據(jù)權(quán)利要求1所述的大數(shù)據(jù)一體機(jī)，其特征在于：所述千兆以太網(wǎng)交換機(jī)模塊使得服務(wù)器模塊通過(guò)路由器模塊連接如互聯(lián)網(wǎng)，并且提供千兆的傳輸速度。

4.根據(jù)權(quán)利要求1所述的大數(shù)據(jù)一體機(jī)，其特征在于：所述多電腦切換器模塊KVM通過(guò)使用一組鍵盤(pán)、顯示器和鼠標(biāo)，控制服務(wù)器集群模塊的輸入輸出與顯示。

5.根據(jù)權(quán)利要求1所述的大數(shù)據(jù)一體機(jī)，其特征在于：所述服務(wù)器集群模塊包括9臺(tái)服務(wù)器，其中2臺(tái)服務(wù)器分別作為Hadoop節(jié)點(diǎn)和備份節(jié)點(diǎn)，4臺(tái)服務(wù)器作為Hadoop數(shù)據(jù)節(jié)點(diǎn)，3臺(tái)服務(wù)器分別作為Web服務(wù)器、數(shù)據(jù)庫(kù)服務(wù)器和Webservice服務(wù)器；在集群中的每臺(tái)服務(wù)器上均設(shè)置一塊陣列卡，用于連接SSD磁盤(pán)陣列，提高集群I/O速度。

6.根據(jù)權(quán)利要求5所述的大數(shù)據(jù)一體機(jī)，其特征在于：所述服務(wù)器集群模塊中，在數(shù)據(jù)服務(wù)器上安裝mysql數(shù)據(jù)庫(kù)，用于存儲(chǔ)實(shí)時(shí)數(shù)據(jù)和備份Hive元數(shù)據(jù)，在Web服務(wù)器上安裝tomcat，用于部署集群數(shù)據(jù)實(shí)時(shí)監(jiān)測(cè)網(wǎng)站，并通過(guò)80端口向外網(wǎng)提供數(shù)據(jù)訪(fǎng)問(wèn)接口；在Webservice服務(wù)器上通過(guò)在路由器上的多個(gè)端口映射向外界響應(yīng)數(shù)據(jù)請(qǐng)求服務(wù)；其余的六臺(tái)服務(wù)器組成Hadoop集群，其上部署Hadoop系統(tǒng)和Hive數(shù)據(jù)倉(cāng)庫(kù)；利用Hadoop的HDFS文件負(fù)載均衡機(jī)制，實(shí)現(xiàn)集群中數(shù)據(jù)存儲(chǔ)的負(fù)載均衡。

7.根據(jù)權(quán)利要求6所述的大數(shù)據(jù)一體機(jī)，其特征在于：所述Hadoop集群主節(jié)點(diǎn)使用Hadoop任務(wù)調(diào)度系統(tǒng)，將用戶(hù)提交數(shù)據(jù)庫(kù)的操作請(qǐng)求由JobKeeper分布式調(diào)度引擎根據(jù)各個(gè)數(shù)據(jù)節(jié)點(diǎn)的實(shí)際運(yùn)行負(fù)載情況進(jìn)行任務(wù)分配；Hive數(shù)據(jù)倉(cāng)庫(kù)用于存儲(chǔ)數(shù)據(jù)，在進(jìn)行數(shù)據(jù)處理時(shí)，使用Hadoop中的MapReduce計(jì)算框架實(shí)現(xiàn)數(shù)據(jù)分布式處理；其中，集群中的備份節(jié)點(diǎn)負(fù)責(zé)定期將Hadoop集群主節(jié)點(diǎn)上的NameSpace鏡像與操作日志合并，生成文件系統(tǒng)鏡像檢查文件；同時(shí)自身保留一份合并之后的文件，如果主節(jié)點(diǎn)宕機(jī)，備份節(jié)點(diǎn)保留的文件可用于主節(jié)點(diǎn)恢復(fù)。

8.根據(jù)權(quán)利要求1所述的大數(shù)據(jù)一體機(jī)，其特征在于：所述供電模塊采用16A防雷防電涌PDU，所有服務(wù)器采用1+1冗余電源，保證整個(gè)一體機(jī)的穩(wěn)定運(yùn)行。