[發(fā)明專利]海量數(shù)據(jù)結(jié)構(gòu)化方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201810515743.0
• 申請(qǐng)日: 2018-05-25
• 公開(kāi)（公告）號(hào): CN108717461B
• 公開(kāi)（公告）日: 2021-03-26
• 發(fā)明（設(shè)計(jì)）人: 黃度新;張川;金鑫;王翼
• 申請(qǐng)（專利權(quán)）人: 平安科技（深圳）有限公司
• 主分類號(hào): G06F16/25
• 分類號(hào): G06F16/25;G06F16/35
• 代理公司: 深圳市精英專利事務(wù)所 44242
• 代理人: 林燕云

1.一種海量數(shù)據(jù)結(jié)構(gòu)化方法，其特征在于，包括：

將非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行聚類，得到與預(yù)設(shè)的聚類簇?cái)?shù)對(duì)應(yīng)的聚類結(jié)果，并設(shè)置與每一簇的聚類一一對(duì)應(yīng)的ID編號(hào)；

在聚類結(jié)果中每一簇的聚類中均獲取一非結(jié)構(gòu)化數(shù)據(jù)，并將所獲取的非結(jié)構(gòu)化數(shù)據(jù)對(duì)應(yīng)轉(zhuǎn)化為正則表達(dá)式；

將每一簇的聚類中所包括的非結(jié)構(gòu)化數(shù)據(jù)均根據(jù)該聚類對(duì)應(yīng)的正則表達(dá)式進(jìn)行轉(zhuǎn)化，得到結(jié)構(gòu)化數(shù)據(jù)；

所述將每一簇的聚類中所包括的非結(jié)構(gòu)化數(shù)據(jù)均根據(jù)該聚類對(duì)應(yīng)的正則表達(dá)式進(jìn)行轉(zhuǎn)化，得到結(jié)構(gòu)化數(shù)據(jù)，包括：

獲取每一簇的聚類所對(duì)應(yīng)的正則表達(dá)式所包括的多個(gè)子正則表達(dá)式，將每一簇的聚類中所包括的非結(jié)構(gòu)化數(shù)據(jù)均與該聚類對(duì)應(yīng)的多個(gè)子正則表達(dá)式進(jìn)行轉(zhuǎn)化，得到與每一非結(jié)構(gòu)化數(shù)據(jù)對(duì)應(yīng)的多個(gè)初始轉(zhuǎn)化結(jié)果；

將同一非結(jié)構(gòu)化數(shù)據(jù)對(duì)應(yīng)的多個(gè)初始轉(zhuǎn)化結(jié)果進(jìn)行串接，得到該非結(jié)構(gòu)化數(shù)據(jù)對(duì)應(yīng)的結(jié)構(gòu)化數(shù)據(jù)；

所述將所獲取的非結(jié)構(gòu)化數(shù)據(jù)對(duì)應(yīng)轉(zhuǎn)化為正則表達(dá)式，包括：

將所獲取的與每一簇的聚類一一對(duì)應(yīng)的非結(jié)構(gòu)化數(shù)據(jù)根據(jù)字符類型進(jìn)行劃分，得到與所獲取的非結(jié)構(gòu)化數(shù)據(jù)一一對(duì)應(yīng)的劃分結(jié)果；其中，每一劃分結(jié)果均包括多個(gè)子字符串；

根據(jù)每一劃分結(jié)果所包括子字符串，生成與每一劃分結(jié)果對(duì)應(yīng)的多個(gè)子正則表達(dá)式；

將同一劃分結(jié)果內(nèi)對(duì)應(yīng)的多個(gè)子正則表達(dá)式串接，得到該劃分結(jié)果對(duì)應(yīng)的正則表達(dá)式。

2.根據(jù)權(quán)利要求1所述的海量數(shù)據(jù)結(jié)構(gòu)化方法，其特征在于，所述將每一簇的聚類中所包括的非結(jié)構(gòu)化數(shù)據(jù)均根據(jù)該聚類對(duì)應(yīng)的正則表達(dá)式進(jìn)行轉(zhuǎn)化，得到結(jié)構(gòu)化數(shù)據(jù)之后，還包括：

將每一簇的聚類中的每一結(jié)構(gòu)化數(shù)據(jù)根據(jù)文本分類算法填充至該聚類對(duì)應(yīng)的數(shù)據(jù)表格中進(jìn)行存儲(chǔ)。

3.根據(jù)權(quán)利要求1所述的海量數(shù)據(jù)結(jié)構(gòu)化方法，其特征在于，所述將非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行聚類，得到與預(yù)設(shè)的聚類簇?cái)?shù)對(duì)應(yīng)的聚類結(jié)果，包括：

在多個(gè)非結(jié)構(gòu)化數(shù)據(jù)中選取與預(yù)設(shè)的聚類簇?cái)?shù)相同個(gè)數(shù)的非結(jié)構(gòu)化數(shù)據(jù)，將所選取的非結(jié)構(gòu)化數(shù)據(jù)作為每一簇的初始聚類中心；

根據(jù)多個(gè)非結(jié)構(gòu)化數(shù)據(jù)與各初始聚類中心的相異值，將多個(gè)非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行劃分，得到初始聚類結(jié)果；

根據(jù)初始聚類結(jié)果，獲取每一簇的調(diào)整后聚類中心；

根據(jù)調(diào)整后聚類中心，將多個(gè)非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行劃分，直至聚類結(jié)果保持相同的次數(shù)多于預(yù)設(shè)的次數(shù)，得到與預(yù)設(shè)的聚類簇?cái)?shù)對(duì)應(yīng)的聚類結(jié)果。

4.根據(jù)權(quán)利要求2所述海量數(shù)據(jù)結(jié)構(gòu)化方法，其特征在于，所述將每一簇的聚類中的每一結(jié)構(gòu)化數(shù)據(jù)根據(jù)文本分類算法填充至該聚類對(duì)應(yīng)的數(shù)據(jù)表格中進(jìn)行存儲(chǔ)，包括：

根據(jù)每一簇的聚類的ID編號(hào)，一一對(duì)應(yīng)建立數(shù)據(jù)表格；

根據(jù)每一簇的聚類中所選定結(jié)構(gòu)化數(shù)據(jù)的字段，一一對(duì)應(yīng)建立數(shù)據(jù)表格的字段；

將每一簇的聚類中所包括結(jié)構(gòu)化數(shù)據(jù)根據(jù)Fasttext文本分類算法填充至該聚類對(duì)應(yīng)的數(shù)據(jù)表格的對(duì)應(yīng)字段中。

5.根據(jù)權(quán)利要求1所述海量數(shù)據(jù)結(jié)構(gòu)化方法，其特征在于，所述將同一非結(jié)構(gòu)化數(shù)據(jù)對(duì)應(yīng)的初始轉(zhuǎn)化結(jié)果進(jìn)行串接，得到該非結(jié)構(gòu)化數(shù)據(jù)對(duì)應(yīng)的結(jié)構(gòu)化數(shù)據(jù)，包括：

將同一非結(jié)構(gòu)化數(shù)據(jù)對(duì)應(yīng)的多個(gè)初始轉(zhuǎn)化結(jié)果尾部均增加一轉(zhuǎn)行符后再進(jìn)行串接，得到該非結(jié)構(gòu)化數(shù)據(jù)對(duì)應(yīng)的結(jié)構(gòu)化數(shù)據(jù)。