[發(fā)明專利]一種數(shù)據(jù)挖掘方法及數(shù)據(jù)挖掘系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201410219319.3
• 申請(qǐng)日: 2014-05-22
• 公開（公告）號(hào): CN103995873B
• 公開（公告）日: 2017-03-15
• 發(fā)明（設(shè)計(jì)）人: 劉艷秋;王小虎;王春影;胡婷;丁健生;聞喆;王旭
• 申請(qǐng)（專利權(quán)）人: 長(zhǎng)春工業(yè)大學(xué)
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 北京科億知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙)11350
• 代理人: 湯東鳳

技術(shù)領(lǐng)域

本發(fā)明屬于數(shù)據(jù)挖掘技術(shù)領(lǐng)域，涉及一種數(shù)據(jù)挖掘方法及數(shù)據(jù)挖掘系統(tǒng)。

背景技術(shù)

數(shù)據(jù)挖掘(Data?Mining，DM)是目前人工智能和數(shù)據(jù)庫(kù)領(lǐng)域研究的熱點(diǎn)問題，所謂數(shù)據(jù)挖掘是指從數(shù)據(jù)庫(kù)的大量數(shù)據(jù)中揭示出隱含的、先前未知的并有潛在價(jià)值的信息的非平凡過程。數(shù)據(jù)挖掘是一種決策支持過程，它主要基于人工智能、機(jī)器學(xué)習(xí)、模式識(shí)別、統(tǒng)計(jì)學(xué)、數(shù)據(jù)庫(kù)、可視化技術(shù)等，高度自動(dòng)化地分析企業(yè)的數(shù)據(jù)，做出歸納性的推理，從中挖掘出潛在的模式，幫助決策者調(diào)整市場(chǎng)策略，減少風(fēng)險(xiǎn)，做出正確的決策。現(xiàn)有數(shù)據(jù)挖掘的方法計(jì)算量普遍較大，面對(duì)大數(shù)據(jù)量的數(shù)據(jù)源時(shí)經(jīng)常出現(xiàn)反應(yīng)慢的問題。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種數(shù)據(jù)挖掘方法，解決了現(xiàn)有的現(xiàn)有數(shù)據(jù)挖掘的方法計(jì)算量較大的問題。

本發(fā)明的另一個(gè)目的是提供一種數(shù)據(jù)挖掘系統(tǒng)。

本發(fā)明所采用的技術(shù)方案是按照以下步驟進(jìn)行：

A、數(shù)據(jù)分隔：從數(shù)據(jù)源中抽取若干個(gè)采樣數(shù)據(jù),其中采樣方法為系統(tǒng)每生成一個(gè)隨機(jī)數(shù)，使用隨機(jī)數(shù)從數(shù)據(jù)源中抽取對(duì)應(yīng)位置的數(shù)據(jù)；計(jì)算采樣數(shù)據(jù)的分布關(guān)系，并根據(jù)采樣數(shù)據(jù)的分布關(guān)系將數(shù)據(jù)源中其余的數(shù)據(jù)進(jìn)行分隔，形成若干個(gè)數(shù)據(jù)集合，每個(gè)采樣數(shù)據(jù)代表一個(gè)數(shù)據(jù)集合。每個(gè)采樣數(shù)據(jù)所包含的特征元素為其對(duì)應(yīng)的數(shù)據(jù)集合的特征向量；根據(jù)數(shù)據(jù)類型和挖掘要求的不同而不同。

B、數(shù)據(jù)篩選：確定特征向量中各個(gè)元素的權(quán)重值，權(quán)重值根據(jù)各個(gè)元素對(duì)數(shù)據(jù)挖掘重要性的強(qiáng)弱進(jìn)行設(shè)定，元素對(duì)數(shù)據(jù)挖掘的重要性使用1～10區(qū)間內(nèi)的數(shù)值表示，設(shè)權(quán)重值為L(zhǎng)，元素即特征向量的組成部分對(duì)數(shù)據(jù)挖掘的重要性參數(shù)為b，則L＝b²，對(duì)特征向量進(jìn)行修正；

C、數(shù)據(jù)迭代處理：迭代的目的是為了得到一個(gè)滿足標(biāo)準(zhǔn)的集合，提前設(shè)定的標(biāo)準(zhǔn)就是目標(biāo)集合，根據(jù)目標(biāo)集合的格式設(shè)置迭代矩陣，隨機(jī)選擇符合要求的迭代矩陣，通過循環(huán)迭代進(jìn)行修正，逐步靠近目標(biāo)。將數(shù)據(jù)集合與迭代矩陣相乘，然后與修正后的特征向量相乘，得到第一中間數(shù)據(jù)集合，求出第一中間數(shù)據(jù)集合與數(shù)據(jù)集合的第一偏移率；使用第一中間數(shù)據(jù)集合與迭代矩陣相乘，然后與修正后的特征向量相乘，得到第二中間數(shù)據(jù)集合，求出第二中間數(shù)據(jù)集合與第一中間數(shù)據(jù)集合的第二偏移率，當(dāng)?shù)诙坡市∮诘谝黄坡蕰r(shí)，繼續(xù)上述迭代過程，直至第N偏移率小于設(shè)定的閾值，得到目標(biāo)數(shù)據(jù)集合(目標(biāo)數(shù)據(jù)集合即最后一次的中間數(shù)據(jù)集合，當(dāng)?shù)诙坡蚀笥诘谝黄坡蕰r(shí)，修訂迭代矩陣，重新進(jìn)行迭代；

D、數(shù)據(jù)歸一化：將目標(biāo)數(shù)據(jù)集合內(nèi)的數(shù)據(jù)進(jìn)行歸一化，將歸一化過程中刪除的數(shù)據(jù)進(jìn)行原始位置標(biāo)記，并存入數(shù)據(jù)緩沖集合；原始位置標(biāo)記采用三維數(shù)據(jù)組的形式，三個(gè)維度的數(shù)據(jù)分別為數(shù)據(jù)絕對(duì)位置、與上一個(gè)數(shù)據(jù)的相對(duì)位置、與下一個(gè)數(shù)據(jù)的相對(duì)位置；歸一化的目標(biāo)函數(shù)方法：

方法1：歸一化的目標(biāo)函數(shù)的形式為y＝ax²+bx+e^x+c；

方法2：歸一化的目標(biāo)函數(shù)的形式為y＝ax³+bx²+tan(x/lnx)；

E、結(jié)果判斷：根據(jù)數(shù)據(jù)歸一化的結(jié)果，從決策表中選取相應(yīng)決策。決策表采用若干個(gè)堆棧結(jié)構(gòu)并列設(shè)置而成。

進(jìn)一步，所述步驟A中隨機(jī)數(shù)據(jù)選取過程：記數(shù)據(jù)源的數(shù)據(jù)總量與采樣數(shù)據(jù)的數(shù)量進(jìn)行除法運(yùn)算后的結(jié)果為a,例如數(shù)據(jù)源的數(shù)據(jù)總量為10000，采樣數(shù)據(jù)量為10，那么a就是1000。任意兩個(gè)隨機(jī)數(shù)的差值均大于a/5。

進(jìn)一步，所述步驟B中數(shù)據(jù)集合優(yōu)選相鄰的兩個(gè)數(shù)據(jù)集合之間保留有10％～15％的重疊區(qū)，重疊區(qū)域同一個(gè)數(shù)據(jù)屬于多個(gè)數(shù)據(jù)集合。

進(jìn)一步，所述步驟B中特征向量修正過程為依照權(quán)重值由高至低的順序依次對(duì)數(shù)據(jù)集合進(jìn)行篩選，根據(jù)篩選的結(jié)果對(duì)特征向量的元素進(jìn)行修正f(x，y)代表修正的特征向量：

方式1：修正公式如下：