[發(fā)明專利]一種通用機(jī)器學(xué)習(xí)數(shù)據(jù)分析平臺(tái)

有效

• 申請(qǐng)?zhí)枺?/td>: 201611075837.8
• 申請(qǐng)日: 2016-11-30
• 公開(kāi)（公告）號(hào): CN106779087B
• 公開(kāi)（公告）日: 2019-02-22
• 發(fā)明（設(shè)計(jì)）人: 陳予言;倪時(shí)龍;蘇江文;王秋琳
• 申請(qǐng)（專利權(quán)）人: 福建億榕信息技術(shù)有限公司;國(guó)家電網(wǎng)公司;國(guó)網(wǎng)信息通信產(chǎn)業(yè)集團(tuán)有限公司;國(guó)網(wǎng)信通億力科技有限責(zé)任公司
• 主分類號(hào): G06N20/00
• 分類號(hào): G06N20/00
• 代理公司: 福州市鼓樓區(qū)京華專利事務(wù)所(普通合伙) 35212
• 代理人: 宋連梅

本發(fā)明提供一種通用機(jī)器學(xué)習(xí)數(shù)據(jù)分析平臺(tái)，包括界面模塊、數(shù)據(jù)存儲(chǔ)模塊、預(yù)處理模塊、特征提取模塊、特征轉(zhuǎn)換模塊、算法模塊以及選擇優(yōu)化模塊；所述特征提取模塊根據(jù)用戶設(shè)定的特征參數(shù)從所述待分析數(shù)據(jù)中提取所述特征參數(shù)；所述特征轉(zhuǎn)換模塊用于將用戶設(shè)定的特征轉(zhuǎn)換成用戶所需的表示形式；所述算法模塊包含多種算法模型供用戶選擇以及供用戶構(gòu)建模型，用戶構(gòu)建至少一組模型；所述選擇優(yōu)化模塊從構(gòu)建好的模型中選出最優(yōu)的模型和最優(yōu)的參數(shù)，然后保存所述最優(yōu)的模型；上述各模塊產(chǎn)生的數(shù)據(jù)均存儲(chǔ)于所述數(shù)據(jù)存儲(chǔ)模塊中。本發(fā)明用戶可以自由組合使用各個(gè)模塊與算法模型，還可以建立復(fù)合模型，快速迭代開(kāi)發(fā)出新型分析模型，大大提高工作效率。

【技術(shù)領(lǐng)域】

本發(fā)明涉及一種計(jì)算機(jī)領(lǐng)域，特別涉及一種通用機(jī)器學(xué)習(xí)數(shù)據(jù)分析平臺(tái)。

【背景技術(shù)】

當(dāng)今無(wú)疑是數(shù)據(jù)大爆發(fā)的時(shí)代，不論是國(guó)家，組織還是個(gè)人都在源源不斷的生產(chǎn)著數(shù)據(jù)。數(shù)據(jù)分析的技術(shù)簡(jiǎn)單來(lái)說(shuō)就是以發(fā)現(xiàn)有用信息，知識(shí)和洞察為目的，進(jìn)行數(shù)據(jù)收集，處理，清洗，統(tǒng)計(jì)計(jì)算，以支持決策制定。比如聯(lián)合國(guó)會(huì)根據(jù)各國(guó)GPD來(lái)分配人道援助資金，美聯(lián)儲(chǔ)會(huì)根據(jù)就業(yè)指數(shù)來(lái)決定是否加息，福建省會(huì)根據(jù)氣象數(shù)據(jù)預(yù)測(cè)臺(tái)風(fēng)，如此這般。智慧的人們通過(guò)各種手段獲取了數(shù)據(jù)，并且根據(jù)對(duì)這些數(shù)據(jù)的加工，處理與分析以引導(dǎo)出未來(lái)的決策。可以說(shuō)數(shù)據(jù)分析技術(shù)已經(jīng)成為各種科學(xué)里的重中之重，滲透在各行各業(yè)之中，成為社會(huì)發(fā)展進(jìn)步的關(guān)鍵動(dòng)力。

所謂數(shù)據(jù)分析，是指用適當(dāng)?shù)慕y(tǒng)計(jì)分析方法對(duì)收集來(lái)的大量數(shù)據(jù)進(jìn)行分析，提取有用信息和形成結(jié)論而對(duì)數(shù)據(jù)加以詳細(xì)研究和概括總結(jié)的過(guò)程。在實(shí)用中，數(shù)據(jù)分析可幫助人們作出判斷，以便采取適當(dāng)行動(dòng)。數(shù)據(jù)分析的數(shù)學(xué)基礎(chǔ)在20世紀(jì)早期就已確立，但直到計(jì)算機(jī)的出現(xiàn)才使得實(shí)際操作成為可能，并使得數(shù)據(jù)分析得以推廣。數(shù)據(jù)分析是數(shù)學(xué)與計(jì)算機(jī)科學(xué)相結(jié)合的產(chǎn)物。隨著機(jī)器學(xué)習(xí)技術(shù)的發(fā)展，在數(shù)據(jù)分析領(lǐng)域大放異彩，壓倒了傳統(tǒng)的統(tǒng)計(jì)學(xué)方法，成為主流。

機(jī)器學(xué)習(xí)是人工智能的一個(gè)分支。人工智能的研究是從以“推理”為重點(diǎn)到以“知識(shí)”為重點(diǎn)，再到以“學(xué)習(xí)”為重點(diǎn)，一條自然、清晰的脈絡(luò)。顯然，機(jī)器學(xué)習(xí)是實(shí)現(xiàn)人工智能的一個(gè)途徑，即以機(jī)器學(xué)習(xí)為手段解決人工智能中的問(wèn)題。機(jī)器學(xué)習(xí)在近30多年已發(fā)展為一門(mén)多領(lǐng)域交叉學(xué)科，涉及概率論、統(tǒng)計(jì)學(xué)、逼近論、凸分析、計(jì)算復(fù)雜性理論等多門(mén)學(xué)科。機(jī)器學(xué)習(xí)理論主要是設(shè)計(jì)和分析一些讓計(jì)算機(jī)可以自動(dòng)“學(xué)習(xí)”的算法。機(jī)器學(xué)習(xí)算法是一類從數(shù)據(jù)中自動(dòng)分析獲得規(guī)律，并利用規(guī)律對(duì)未知數(shù)據(jù)進(jìn)行預(yù)測(cè)的算法。因?yàn)閷W(xué)習(xí)算法中涉及了大量的統(tǒng)計(jì)學(xué)理論，機(jī)器學(xué)習(xí)與推斷統(tǒng)計(jì)學(xué)聯(lián)系尤為密切，也被稱為統(tǒng)計(jì)學(xué)習(xí)理論。算法設(shè)計(jì)方面，機(jī)器學(xué)習(xí)理論關(guān)注可以實(shí)現(xiàn)的，行之有效的學(xué)習(xí)算法。

面對(duì)如此多樣化的數(shù)據(jù)，想要從中萃取出對(duì)于有益的決策，需要根據(jù)不同的數(shù)據(jù)與目標(biāo)調(diào)整預(yù)處理模式，分析方法與分析模型等等方面。

現(xiàn)有技術(shù)方案一：針對(duì)單一目的機(jī)器學(xué)習(xí)分析系統(tǒng)

大量的專利與技術(shù)方案都是拘泥于其使用者自身的需求所設(shè)計(jì)的的，例如某電商平臺(tái)的用戶喜好分析，電力系統(tǒng)數(shù)據(jù)分析平臺(tái)，醫(yī)學(xué)上的基因分析等等。從應(yīng)用層面來(lái)說(shuō)，這些方案所構(gòu)建的系統(tǒng)都是只能針對(duì)特定目來(lái)設(shè)計(jì)的，如果數(shù)據(jù)類型有變化，或者分析需求有變化，難免需要對(duì)其進(jìn)行修改，需要耗費(fèi)極大的人力進(jìn)行不斷修改。從系統(tǒng)層面來(lái)說(shuō)，這種針對(duì)特定目的的分析系統(tǒng)，程序接口不統(tǒng)一，不同系統(tǒng)之間無(wú)法相互通信。而且由于高度定制化，導(dǎo)致缺乏泛用性，可移植性與復(fù)用能力，是資源的一種浪費(fèi)。從開(kāi)發(fā)層面來(lái)說(shuō)，由于機(jī)器學(xué)習(xí)技術(shù)紛繁負(fù)責(zé)，開(kāi)發(fā)工具與框架甚廣，許多算法難度較大，涉及數(shù)學(xué)與計(jì)算機(jī)科學(xué)，要求具有較高素質(zhì)的專業(yè)人員進(jìn)行開(kāi)發(fā)設(shè)計(jì)。

現(xiàn)有技術(shù)方案二：全自動(dòng)化機(jī)器學(xué)習(xí)平臺(tái)