[發(fā)明專(zhuān)利]一種基于問(wèn)題導(dǎo)向的創(chuàng)新數(shù)據(jù)分析平臺(tái)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110021614.8
• 申請(qǐng)日: 2021-01-08
• 公開(kāi)（公告）號(hào): CN112667740A
• 公開(kāi)（公告）日: 2021-04-16
• 發(fā)明（設(shè)計(jì)）人: 劉崢
• 申請(qǐng)（專(zhuān)利權(quán)）人: 武漢數(shù)字超客技術(shù)有限公司
• 主分類(lèi)號(hào): G06F16/26
• 分類(lèi)號(hào): G06F16/26;G06F16/27;G06F16/31;G06F9/50
• 代理公司: 深圳至誠(chéng)化育知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44728
• 代理人: 劉英

本發(fā)明涉及大數(shù)據(jù)分析技術(shù)領(lǐng)域，尤其為一種基于問(wèn)題導(dǎo)向的創(chuàng)新數(shù)據(jù)分析平臺(tái)，包括服務(wù)層、功能層和平臺(tái)層，所述服務(wù)層包括大數(shù)據(jù)Web服務(wù)、大數(shù)據(jù)Open API服務(wù)，所述功能層包括大數(shù)據(jù)集成、大數(shù)據(jù)存儲(chǔ)、大數(shù)據(jù)管理和大數(shù)據(jù)挖掘，通過(guò)為廣大用戶提供大數(shù)據(jù)處理和分析的服務(wù)功能，大數(shù)據(jù)分析平臺(tái)要突破傳統(tǒng)的基于軟件和高端服務(wù)器的數(shù)據(jù)挖掘傳統(tǒng)技術(shù)體系，采用基于云計(jì)算的大數(shù)據(jù)存儲(chǔ)和處理架構(gòu)、分布式數(shù)據(jù)挖掘算法和基于互聯(lián)網(wǎng)的大數(shù)據(jù)存儲(chǔ)、處理和挖掘服務(wù)模式，大數(shù)據(jù)分析平臺(tái)所采用的技術(shù)路線和應(yīng)用模式融合了智能分析技術(shù)、高可擴(kuò)展計(jì)算技術(shù)、非結(jié)構(gòu)化數(shù)據(jù)處理技術(shù)和軟件即服務(wù)(SaaS)應(yīng)用模式，有助于形成以平臺(tái)為核心的大數(shù)據(jù)分析產(chǎn)業(yè)生態(tài)環(huán)境。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)分析技術(shù)領(lǐng)域，具體為一種基于問(wèn)題導(dǎo)向的創(chuàng)新數(shù)據(jù)分析平臺(tái)。

背景技術(shù)

在大數(shù)據(jù)時(shí)代，個(gè)人、企業(yè)和機(jī)構(gòu)都會(huì)面臨大數(shù)據(jù)的問(wèn)題。建設(shè)面向服務(wù)的大數(shù)據(jù)平臺(tái)，可以為眾多的中小企業(yè)和個(gè)人用戶提供大數(shù)據(jù)處理和分析的能力。面向服務(wù)的大數(shù)據(jù)分析平臺(tái)以區(qū)域性智能數(shù)據(jù)中心及高速互聯(lián)網(wǎng)為基礎(chǔ)設(shè)施，以互聯(lián)網(wǎng)服務(wù)體系為架構(gòu)，以大數(shù)據(jù)存儲(chǔ)、處理、挖掘和交互式可視化分析等關(guān)鍵技術(shù)為支撐，通過(guò)多樣化移動(dòng)智能終端及移動(dòng)互聯(lián)網(wǎng)為用戶提供數(shù)據(jù)存儲(chǔ)、管理及分析服務(wù)，現(xiàn)有的分析處理效率較低，因此提出一種基于問(wèn)題導(dǎo)向的創(chuàng)新數(shù)據(jù)分析平臺(tái)。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種基于問(wèn)題導(dǎo)向的創(chuàng)新數(shù)據(jù)分析平臺(tái)，以解決上述背景技術(shù)中提出的問(wèn)題。

為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：

一種基于問(wèn)題導(dǎo)向的創(chuàng)新數(shù)據(jù)分析平臺(tái)，包括服務(wù)層、功能層和平臺(tái)層，所述服務(wù)層包括大數(shù)據(jù)Web服務(wù)、大數(shù)據(jù)Open API服務(wù)，所述功能層包括大數(shù)據(jù)集成、大數(shù)據(jù)存儲(chǔ)、大數(shù)據(jù)管理和大數(shù)據(jù)挖掘，所述平臺(tái)層包括大數(shù)據(jù)存儲(chǔ)平臺(tái)、大數(shù)據(jù)計(jì)算平臺(tái)和多數(shù)據(jù)中心調(diào)度引擎，所述大數(shù)據(jù)集成包括高可擴(kuò)展性大數(shù)據(jù)挖掘算法，所述大數(shù)據(jù)存儲(chǔ)包括大數(shù)據(jù)安全與隱私保護(hù)技術(shù)，所述大數(shù)據(jù)管理包括分布式工作流引擎，所述大數(shù)據(jù)挖掘包括交互式可視化分析技術(shù)，所述大數(shù)據(jù)存儲(chǔ)平臺(tái)包括大數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)，所述大數(shù)據(jù)計(jì)算平臺(tái)包括分布式數(shù)據(jù)挖掘運(yùn)行時(shí)系統(tǒng)，所述多數(shù)據(jù)中心調(diào)度引擎包括智能數(shù)據(jù)中心聯(lián)合調(diào)度技術(shù)。

優(yōu)選的，所述大數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)：針對(duì)數(shù)據(jù)不斷增長(zhǎng)的挑戰(zhàn)，需要研究大規(guī)模、非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)問(wèn)題，突破大數(shù)據(jù)的存儲(chǔ)、管理和高效訪問(wèn)關(guān)鍵技術(shù)。

優(yōu)選的，所述分布式數(shù)據(jù)挖掘運(yùn)行時(shí)系統(tǒng)：針對(duì)大數(shù)據(jù)挖掘算法運(yùn)行的挑戰(zhàn)，突破MapReduce技術(shù)的局限，研究有效支持迭代、遞歸、層次及集成機(jī)制的海量數(shù)據(jù)挖掘編程模型和運(yùn)行時(shí)系統(tǒng)，構(gòu)建大數(shù)據(jù)運(yùn)行時(shí)系統(tǒng)。

優(yōu)選的，所述智能數(shù)據(jù)中心聯(lián)合調(diào)度技術(shù)：針對(duì)大數(shù)據(jù)存儲(chǔ)和挖掘的挑戰(zhàn)，研究多數(shù)據(jù)中心的智能聯(lián)合調(diào)度、負(fù)載均衡技術(shù)，整合多個(gè)數(shù)據(jù)中心的存儲(chǔ)和計(jì)算資源，構(gòu)建基于多智能中心的大數(shù)據(jù)服務(wù)平臺(tái)。

優(yōu)選的，所述高可擴(kuò)展性大數(shù)據(jù)挖掘算法：針對(duì)大數(shù)據(jù)挖掘的挑戰(zhàn)，研究基于云計(jì)算的分布式大數(shù)據(jù)處理與挖掘算法，構(gòu)建高可擴(kuò)展的大數(shù)據(jù)處理與挖掘算法庫(kù)，實(shí)現(xiàn)TB級(jí)數(shù)據(jù)的建模能力；大數(shù)據(jù)安全與隱私保護(hù)技術(shù)：針對(duì)數(shù)據(jù)挖掘“軟件即服務(wù)”(SaaS)模式的需求，研究開(kāi)發(fā)數(shù)據(jù)挖掘在云環(huán)境下的隱私保護(hù)、數(shù)據(jù)審計(jì)和節(jié)點(diǎn)數(shù)據(jù)挖掘技術(shù)，確保大數(shù)據(jù)挖掘過(guò)程中的數(shù)據(jù)安全，保證用戶的隱私不被泄露；分布式工作流引擎：針對(duì)大數(shù)據(jù)挖掘分布式調(diào)度的挑戰(zhàn)，研究基于云計(jì)算的分布式工作流調(diào)度、負(fù)載均衡技術(shù)，構(gòu)建高效分布式工作流執(zhí)行引擎；交互式可視化分析技術(shù)：針對(duì)傳統(tǒng)分析方法交互性和可理解性不足的問(wèn)題，研究啟發(fā)式、人機(jī)交互、可視化數(shù)據(jù)挖掘新技術(shù)，實(shí)現(xiàn)大數(shù)據(jù)挖掘的高度人機(jī)交互功能。