[發(fā)明專(zhuān)利]面向醫(yī)聯(lián)體的多用戶(hù)大數(shù)據(jù)分析服務(wù)系統(tǒng)和方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201910142598.0
• 申請(qǐng)日: 2019-02-26
• 公開(kāi)（公告）號(hào): CN110011827A
• 公開(kāi)（公告）日: 2019-07-12
• 發(fā)明（設(shè)計(jì)）人: 王永明;崔修濤;章玉宇;胡天龍;劉佳偉;趙政達(dá)
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中電科軟件信息服務(wù)有限公司;上海長(zhǎng)江科技發(fā)展有限公司
• 主分類(lèi)號(hào): H04L12/24
• 分類(lèi)號(hào): H04L12/24;H04L29/08
• 代理公司: 上海段和段律師事務(wù)所 31334
• 代理人: 李佳俊;郭國(guó)中

本發(fā)明提供了一種面向醫(yī)聯(lián)體的多用戶(hù)大數(shù)據(jù)分析服務(wù)系統(tǒng)和方法，包括基于自服務(wù)方式的大數(shù)據(jù)集群創(chuàng)建、大數(shù)據(jù)集群使用、大數(shù)據(jù)集群刪除。使用OpenStack的容器服務(wù)作為運(yùn)行支撐環(huán)境，利用了OpenStack的資源管理能力，無(wú)需在大數(shù)據(jù)分析服務(wù)子系統(tǒng)中另外實(shí)現(xiàn)物理資源管理功能；可以與其它服務(wù)共享物理資源，提高資源利用率、減少物理資源浪費(fèi)。本發(fā)明提供的大數(shù)據(jù)集群本身為集群架構(gòu)，且均為Spark集群，如Worker節(jié)點(diǎn)發(fā)生故障，整個(gè)集群仍處于可用狀態(tài)，僅會(huì)因可用資源減少而導(dǎo)致性能下降。具有低廉的部署和維護(hù)方式，用戶(hù)將無(wú)需花費(fèi)大量時(shí)間進(jìn)行部署安裝配置，具有強(qiáng)大的編程擴(kuò)展能力，支持多種語(yǔ)言的開(kāi)發(fā)。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)分析領(lǐng)域，具體地，涉及一種面向醫(yī)聯(lián)體的多用戶(hù)大數(shù)據(jù)分析服務(wù)系統(tǒng)和方法。

背景技術(shù)

大數(shù)據(jù)分析是指對(duì)規(guī)模巨大的數(shù)據(jù)進(jìn)行分析。大數(shù)據(jù)可以概括為4個(gè)V，數(shù)據(jù)量大(Volume)、速度快(Velocity)、類(lèi)型多(Variety)、價(jià)值(Value)。大數(shù)據(jù)作為時(shí)下最火熱的IT行業(yè)的詞匯，隨之而來(lái)的數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)安全、數(shù)據(jù)分析、數(shù)據(jù)挖掘等等圍繞大數(shù)據(jù)的商業(yè)價(jià)值的利用逐漸成為行業(yè)人士爭(zhēng)相追捧的利潤(rùn)焦點(diǎn)。隨著大數(shù)據(jù)時(shí)代的來(lái)臨，大數(shù)據(jù)分析也應(yīng)運(yùn)而生。如何實(shí)現(xiàn)大數(shù)據(jù)分析服務(wù)集群的自動(dòng)化、自服務(wù)化管理而無(wú)需關(guān)心底層資源申請(qǐng)、軟件安裝和配置等操作，滿(mǎn)足用戶(hù)，特別是多用戶(hù)環(huán)境下對(duì)大數(shù)據(jù)集群的需求，已經(jīng)成為使用大數(shù)據(jù)技術(shù)進(jìn)行大數(shù)據(jù)分析亟待破解的難題。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)中的缺陷，本發(fā)明的目的是提供一種面向醫(yī)聯(lián)體的多用戶(hù)大數(shù)據(jù)分析服務(wù)系統(tǒng)和方法。

根據(jù)本發(fā)明提供的一種面向醫(yī)聯(lián)體的多用戶(hù)大數(shù)據(jù)分析服務(wù)系統(tǒng)，包括：

集群服務(wù)創(chuàng)建模塊：接收來(lái)自控制臺(tái)的由使用者以自助服務(wù)方式選擇創(chuàng)建的大數(shù)據(jù)集群，接收使用者設(shè)置大數(shù)據(jù)集群規(guī)模后，由后臺(tái)自動(dòng)化部署配置大數(shù)據(jù)集群，完成大數(shù)據(jù)集群創(chuàng)建；

集群服務(wù)使用模塊：通過(guò)控制臺(tái)根據(jù)使用者的查看指令，提供大數(shù)據(jù)集群的訪(fǎng)問(wèn)信息，提供通過(guò)SSH客戶(hù)端或VNC客戶(hù)端訪(fǎng)問(wèn)大數(shù)據(jù)集群，使用大數(shù)據(jù)集群。

優(yōu)選地，所述的面向醫(yī)聯(lián)體的多用戶(hù)大數(shù)據(jù)分析服務(wù)系統(tǒng)，還包括集群服務(wù)刪除模塊：接收來(lái)自控制臺(tái)的由使用者以自助服務(wù)方式選擇刪除的大數(shù)據(jù)集群，由后臺(tái)自動(dòng)化刪除大數(shù)據(jù)集群。

優(yōu)選地，所述大數(shù)據(jù)集群是構(gòu)建在云上的大數(shù)據(jù)服務(wù)。

優(yōu)選地，所述大數(shù)據(jù)集群的使用服務(wù)構(gòu)建在x86和IBMPower服務(wù)器集群之上，采用定制化JVM。

優(yōu)選地，所述大數(shù)據(jù)集群創(chuàng)建采用OpenStack Heat進(jìn)行集群創(chuàng)建。

優(yōu)選地，所述分析任務(wù)的分析結(jié)果保存在HDFS、Hive或集群文件系統(tǒng)中。

優(yōu)選地，部署管理節(jié)點(diǎn)虛擬機(jī)和大數(shù)據(jù)集群，所述管理節(jié)點(diǎn)虛擬機(jī)包括Nginx、大數(shù)據(jù)平臺(tái)服務(wù)、Heat管理、文件同步服務(wù)、對(duì)象存儲(chǔ)，Nginx實(shí)現(xiàn)對(duì)外接口映射，大數(shù)據(jù)平臺(tái)服務(wù)處理Web請(qǐng)求，大數(shù)據(jù)平臺(tái)服務(wù)與文件同步服務(wù)、Heat管理進(jìn)行交互，文件同步服務(wù)完成對(duì)象存儲(chǔ)和HDFS的同步。

優(yōu)選地，所述使用大數(shù)據(jù)集群中，用戶(hù)通過(guò)上傳數(shù)據(jù)或程序提交分析任務(wù)，通過(guò)SCP下載分析任務(wù)的分析結(jié)果。

優(yōu)選地，所述使用大數(shù)據(jù)集群中，用戶(hù)能夠查看大數(shù)據(jù)集群的運(yùn)行狀態(tài)；

在創(chuàng)建大數(shù)據(jù)集群中，用戶(hù)能夠查看大數(shù)據(jù)集群的創(chuàng)建進(jìn)度。

根據(jù)本發(fā)明提供的一種面向醫(yī)聯(lián)體的多用戶(hù)大數(shù)據(jù)分析服務(wù)方法，包括：

集群服務(wù)創(chuàng)建步驟：接收來(lái)自控制臺(tái)的由使用者以自助服務(wù)方式選擇創(chuàng)建的大數(shù)據(jù)集群，接收使用者設(shè)置大數(shù)據(jù)集群規(guī)模后，由后臺(tái)自動(dòng)化部署配置大數(shù)據(jù)集群，完成大數(shù)據(jù)集群創(chuàng)建；