[發(fā)明專利]數(shù)據(jù)識(shí)別方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202110354012.4
• 申請(qǐng)日: 2021-04-01
• 公開（公告）號(hào): CN112948646B
• 公開（公告）日: 2022-12-13
• 發(fā)明（設(shè)計(jì)）人: 林博
• 申請(qǐng)（專利權(quán)）人: 支付寶（杭州）信息技術(shù)有限公司
• 主分類號(hào): G06F16/903
• 分類號(hào): G06F16/903;G06F16/906
• 代理公司: 濟(jì)南信達(dá)專利事務(wù)所有限公司 37100
• 代理人: 李世喆

本說明書實(shí)施例提供了一種數(shù)據(jù)識(shí)別方法和裝置。根據(jù)該實(shí)施例的方法，獲取待識(shí)別數(shù)據(jù)集；然后從所述待識(shí)別數(shù)據(jù)集中提取各待識(shí)別數(shù)據(jù)的前綴數(shù)據(jù)；將所述前綴數(shù)據(jù)與預(yù)設(shè)類型數(shù)據(jù)的前綴分布進(jìn)行匹配，確定所述待識(shí)別數(shù)據(jù)集針對(duì)所述預(yù)設(shè)類型數(shù)據(jù)的前綴匹配得分；再將所述前綴匹配得分與所述待識(shí)別數(shù)據(jù)集的統(tǒng)計(jì)特征輸入所述預(yù)設(shè)類型數(shù)據(jù)的分類模型，得到所述待識(shí)別數(shù)據(jù)集是否屬于所述預(yù)設(shè)類型數(shù)據(jù)的分類結(jié)果。

技術(shù)領(lǐng)域

本說明書一個(gè)或多個(gè)實(shí)施例涉及計(jì)算機(jī)應(yīng)用技術(shù)領(lǐng)域，特別涉及一種數(shù)據(jù)識(shí)別方法和裝置。

背景技術(shù)

在現(xiàn)實(shí)存在的大規(guī)模數(shù)據(jù)中，存在一些識(shí)別難度較高的數(shù)據(jù)，例如工號(hào)、信用評(píng)分、發(fā)票號(hào)碼等等。這些數(shù)據(jù)大部分為數(shù)字類型，不具備太多的語義信息，難以通過NLP(Natural Language Processing，自然語言處理)的方式進(jìn)行識(shí)別。并且，這些數(shù)據(jù)沒有太強(qiáng)的正則特征，很難采用正則表達(dá)式進(jìn)行識(shí)別。因此，目前對(duì)于上述數(shù)字類型的弱正則數(shù)據(jù)的識(shí)別準(zhǔn)確率很低。

發(fā)明內(nèi)容

有鑒于此，本說明書一個(gè)或多個(gè)實(shí)施例描述了一種數(shù)據(jù)識(shí)別方法和裝置，以便于提高數(shù)字類型的弱正則數(shù)據(jù)的識(shí)別準(zhǔn)確率。

根據(jù)第一方面，提供了一種數(shù)據(jù)識(shí)別方法，包括：

獲取待識(shí)別數(shù)據(jù)集；

從所述待識(shí)別數(shù)據(jù)集中提取各待識(shí)別數(shù)據(jù)的前綴數(shù)據(jù)；

將所述前綴數(shù)據(jù)與預(yù)設(shè)類型數(shù)據(jù)的前綴分布進(jìn)行匹配，確定所述待識(shí)別數(shù)據(jù)集針對(duì)所述預(yù)設(shè)類型數(shù)據(jù)的前綴匹配得分；

將所述前綴匹配得分與所述待識(shí)別數(shù)據(jù)集的統(tǒng)計(jì)特征輸入所述預(yù)設(shè)類型數(shù)據(jù)的分類模型，得到所述待識(shí)別數(shù)據(jù)集是否屬于所述預(yù)設(shè)類型數(shù)據(jù)的分類結(jié)果。

在一個(gè)實(shí)施例中，所述獲取待識(shí)別數(shù)據(jù)集包括：

從結(jié)構(gòu)化數(shù)據(jù)的同一列數(shù)據(jù)中抽取多于一個(gè)的待識(shí)別數(shù)據(jù)構(gòu)成待識(shí)別數(shù)據(jù)集；或者，

從非結(jié)構(gòu)化數(shù)據(jù)的表格中抽取同一列的多于一個(gè)的待識(shí)別數(shù)據(jù)構(gòu)成待識(shí)別數(shù)據(jù)集。

在另一個(gè)實(shí)施例中，從所述待識(shí)別數(shù)據(jù)集中提取各待識(shí)別數(shù)據(jù)的前綴數(shù)據(jù)包括：

提取所述待識(shí)別數(shù)據(jù)中前M位的數(shù)據(jù)作為前綴數(shù)據(jù)，所述M為預(yù)設(shè)的正整數(shù)。

在一個(gè)實(shí)施例中，所述預(yù)設(shè)類型數(shù)據(jù)的前綴分布采用如下方式預(yù)先得到：

獲取所述預(yù)設(shè)類型數(shù)據(jù)的第一訓(xùn)練樣本集；

從所述第一訓(xùn)練樣本集中提取各訓(xùn)練樣本的前綴數(shù)據(jù)；

依據(jù)各前綴數(shù)據(jù)在所述第一訓(xùn)練樣本集中的分布，確定各前綴數(shù)據(jù)的分布得分。

在另一個(gè)實(shí)施例中，所述依據(jù)各前綴數(shù)據(jù)在所述第一訓(xùn)練樣本集中的分布，確定各前綴數(shù)據(jù)的分布得分包括：

依據(jù)各前綴數(shù)據(jù)的區(qū)分度、命中所述第一訓(xùn)練樣本集的訓(xùn)練樣本數(shù)、所述第一訓(xùn)練樣本集的訓(xùn)練樣本總數(shù)以及前綴長(zhǎng)度，確定各前綴數(shù)據(jù)的分布得分。

在一個(gè)實(shí)施例中，將所述前綴數(shù)據(jù)與預(yù)設(shè)類型數(shù)據(jù)的前綴分布進(jìn)行匹配，確定所述待識(shí)別數(shù)據(jù)集針對(duì)所述預(yù)設(shè)類型數(shù)據(jù)的前綴匹配得分：

依據(jù)所述各待識(shí)別數(shù)據(jù)的前綴數(shù)據(jù)與所述各訓(xùn)練樣本的前綴數(shù)據(jù)的重合程度以及重合的前綴數(shù)據(jù)的分布得分，得到所述待識(shí)別數(shù)據(jù)集針對(duì)所述預(yù)設(shè)類型數(shù)據(jù)的前綴匹配得分。

在另一個(gè)實(shí)施例中，所述預(yù)設(shè)類型數(shù)據(jù)的分類模型采用以下方式預(yù)先訓(xùn)練得到：

獲取多于一個(gè)的第二訓(xùn)練樣本集，并標(biāo)注各第二訓(xùn)練樣本集是否屬于所述預(yù)設(shè)類型數(shù)據(jù)；

確定所述第二訓(xùn)練樣本集針對(duì)所述預(yù)設(shè)類型數(shù)據(jù)的前綴匹配得分和所述第二訓(xùn)練樣本集的統(tǒng)計(jì)特征；