[發(fā)明專利]一種數(shù)據(jù)挖掘系統(tǒng)以及實(shí)現(xiàn)方法和應(yīng)用

無(wú)效

• 申請(qǐng)?zhí)枺?/td>: 200810033164.9
• 申請(qǐng)日: 2008-01-28
• 公開(kāi)（公告）號(hào): CN101499075A
• 公開(kāi)（公告）日: 2009-08-05
• 發(fā)明（設(shè)計(jì)）人: 萬(wàn)德洪
• 申請(qǐng)（專利權(quán)）人: 萬(wàn)德洪
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

技術(shù)領(lǐng)域

本發(fā)明是一種數(shù)據(jù)挖掘系統(tǒng)，主要應(yīng)用到文本、圖像等數(shù)據(jù)的挖掘中，相關(guān)的技術(shù)包括數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)挖掘、自然語(yǔ)言處理、圖像處理等。

背景技術(shù)

當(dāng)前數(shù)據(jù)挖掘系統(tǒng)，通常不考慮數(shù)據(jù)中非結(jié)構(gòu)化列的對(duì)照關(guān)系，事實(shí)上不能很好地處理法院裁判數(shù)據(jù)、行政處罰數(shù)據(jù)等含有具有對(duì)照關(guān)系的非結(jié)構(gòu)化列的數(shù)據(jù)。

當(dāng)前的文本挖掘，可以按照主題對(duì)文檔進(jìn)行分類。這種挖掘，在法院裁判數(shù)據(jù)中，沒(méi)有現(xiàn)實(shí)意義，因?yàn)椴门形臅?shū)中本來(lái)就有案由等信息，可以直接用它們進(jìn)行這種分類。如果要預(yù)測(cè)一份判決書(shū)是否會(huì)出現(xiàn)上訴、抗訴等，當(dāng)前的文本挖掘系統(tǒng)因?yàn)椴豢紤]數(shù)據(jù)中非結(jié)構(gòu)化列的對(duì)照關(guān)系，很難得到可以適用的效果。

類似的問(wèn)題也出現(xiàn)在圖像數(shù)據(jù)的處理中。

發(fā)明內(nèi)容

鑒于以上實(shí)際情況，本發(fā)明的目的在于提供一種新的數(shù)據(jù)挖掘系統(tǒng)：

(1)其輸入數(shù)據(jù)集中至少包含兩個(gè)或以上的具有對(duì)照關(guān)系的非結(jié)構(gòu)化數(shù)據(jù)列，比如文本或圖像數(shù)據(jù)列；

(2)對(duì)每一行采用如下步驟進(jìn)行預(yù)處理：

(a)把對(duì)照列中的非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行特征抽取轉(zhuǎn)化為n維特征向量Vi＝(t1i，t2i，t3i，...，tni)，Vi表示第i個(gè)對(duì)照列中的一行數(shù)據(jù)經(jīng)特征抽取之后形成的特征向量，t1i，t2i，t3i，...，tni表示向量Vi在特征t1，t2，t3，...，tn上的值，集合{t1，t2，t3，...，tn}是所有行中所有對(duì)照列中特征的并集，n是總的特征數(shù)；

(b)將各對(duì)照列的特征向量Vi進(jìn)行合并，形成一個(gè)新的特征向量V^*＝(t1^*，t2^*，t3^*，...，tn^*)，t1^*，t2^*，t3^*，...，tn^*，表示向量V^*在特征t1，t2，t3，...，tn上的值，合并算法可以是任意一種能夠表達(dá)tj^*為各對(duì)照列是否出現(xiàn)特征tj的算法，1<＝j(luò)<＝n，j是整數(shù)；

(c)用特征向量V^*取代原始對(duì)照列數(shù)據(jù)，與這行中的結(jié)構(gòu)化列，即數(shù)字列、時(shí)間列等一起組成這行的新的表示，必要時(shí)增加其它預(yù)處理步驟；

(3)包含一個(gè)建模子系統(tǒng)，根據(jù)按照(2)預(yù)處理之后的數(shù)據(jù)進(jìn)行建模。

本發(fā)明所述系統(tǒng)，關(guān)鍵在于數(shù)據(jù)預(yù)處理中如何合并各對(duì)照列的特征向量表示為一個(gè)特征向量表示。本發(fā)明進(jìn)一步提供了如下兩種合并算法：

合并算法1：

(1)把對(duì)照列中的非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行特征抽取轉(zhuǎn)化為特征向量Vi＝(t1i，t2i，t3i，...，tni)時(shí)，t1i，t2i，t3i，...，tni的值只能是0和2的i次方之一，分別表示未出現(xiàn)和出現(xiàn)相應(yīng)的特征；

(2)合并各對(duì)照列的特征向量Vi為一個(gè)新的特征向量V^*＝(t1^*，t2^*，t3^*，...，tn^*)時(shí)，采用加法，即tj^*＝tj1+tj2+tj3+...+tjm，m為對(duì)照列的總列數(shù)。

合并算法2：

(1)把對(duì)照列中的非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行特征抽取轉(zhuǎn)化為特征向量Vi＝(t1i，t2i，t3i，...，tni)時(shí)，t1i，t2i，t3i，...，tni的值只能是0和1之一，分別表示未出現(xiàn)和出現(xiàn)相應(yīng)的特征；

(2)合并各對(duì)照列的特征向量Vi為一個(gè)新的特征向量V^*＝(t1^*，t2^*，t3^*，...，tn^*)時(shí)，采用字符連接法，即tj^*＝tj1‖tj2‖tj3‖...‖tjm，m為對(duì)照列的總列數(shù)，“‖”為字符串連接操作符。

為了進(jìn)一步描述本發(fā)明所述系統(tǒng)的現(xiàn)實(shí)意義，本發(fā)明指出了它在法院裁判數(shù)據(jù)挖掘中的部分應(yīng)用：

在法院民事無(wú)第三人、無(wú)反訴一審判決書(shū)數(shù)據(jù)挖掘中的應(yīng)用：

(1)將每份判決書(shū)表示為由法院、案由、判決時(shí)間等結(jié)構(gòu)化數(shù)據(jù)，以及原告陳述內(nèi)容、被告答辯內(nèi)容、法院查明內(nèi)容、法院判決內(nèi)容等具有對(duì)照關(guān)系的非結(jié)構(gòu)化數(shù)據(jù)組成的數(shù)據(jù)集的一行，輸入數(shù)據(jù)集由多個(gè)這樣的行組成；

(2)根據(jù)挖掘的需要，可以增加類別列，包括表示判決生效、原告上訴、被告上訴、檢察院抗訴、審判監(jiān)督程序再審的一個(gè)類別列，以及表示一審生效、二審維持、二審改判、發(fā)回重審這樣的類別列；