[發(fā)明專利]數(shù)據(jù)分析中的實(shí)體識(shí)別方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202210058350.8
• 申請(qǐng)日: 2022-01-19
• 公開（公告）號(hào): CN114138945B
• 公開（公告）日: 2022-06-14
• 發(fā)明（設(shè)計(jì)）人: 田有朋;劉海波;李俊;黃亞東;王小衛(wèi);朱文嘉
• 申請(qǐng)（專利權(quán)）人: 支付寶（杭州）信息技術(shù)有限公司
• 主分類號(hào): G06F16/33
• 分類號(hào): G06F16/33;G06F40/242;G06F40/295
• 代理公司: 北京億騰知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11309
• 代理人: 陳霽;周良玉

1.一種數(shù)據(jù)分析中的實(shí)體識(shí)別方法，所述方法包括：

獲取用戶輸入的自然語言文本，所述自然語言文本用于表達(dá)用戶對(duì)目標(biāo)數(shù)據(jù)的數(shù)據(jù)分析需求；

獲取多個(gè)類別的實(shí)體詞典，所述多個(gè)類別的實(shí)體詞典包括專有詞典和全局詞典，所述專有詞典是基于所述目標(biāo)數(shù)據(jù)歸屬的目標(biāo)數(shù)據(jù)表的元數(shù)據(jù)信息和數(shù)據(jù)信息而構(gòu)建的，所述專有詞典包括維度類別和維值類別，所述全局詞典包括時(shí)間類別、單位類別、意圖類別；所述維度類別對(duì)應(yīng)于所述目標(biāo)數(shù)據(jù)表中的字段名稱，所述維值類別對(duì)應(yīng)于所述目標(biāo)數(shù)據(jù)表中的字段的具體取值；

針對(duì)所述自然語言文本中包括的各字符，執(zhí)行字符與所述多個(gè)類別的實(shí)體詞典中包括的詞的匹配處理，將匹配結(jié)果作為識(shí)別出的對(duì)應(yīng)類別中的實(shí)體。

2.如權(quán)利要求1所述的方法，其中，所述數(shù)據(jù)分析需求包括查詢第一范圍的所述目標(biāo)數(shù)據(jù)，以及對(duì)該第一范圍的所述目標(biāo)數(shù)據(jù)進(jìn)行第一方式的統(tǒng)計(jì)分析。

3.如權(quán)利要求1所述的方法，其中，所述目標(biāo)數(shù)據(jù)表為目標(biāo)數(shù)據(jù)庫中的數(shù)據(jù)表。

4.如權(quán)利要求1所述的方法，其中，所述全局詞典是基于歷史自然語言語料集合而構(gòu)建的。

5.如權(quán)利要求1所述的方法，其中，所述專有詞典中的各個(gè)詞以三元組的形式存儲(chǔ)，所述三元組包括數(shù)據(jù)表的名稱、類別名稱和字段名稱。

6.如權(quán)利要求1所述的方法，其中，所述執(zhí)行字符與所述多個(gè)類別的實(shí)體詞典中包括的詞的匹配處理，包括：

通過多輪迭代的方式按照順序依次執(zhí)行當(dāng)前字符與所述多個(gè)類別的實(shí)體詞典中包括的詞的匹配處理；其中，在每一輪迭代中，將當(dāng)前字符與實(shí)體詞典中包括的詞進(jìn)行匹配，若匹配成功，則結(jié)束本輪迭代，若匹配不成功，則將當(dāng)前字符與其下一個(gè)字符組合，將組合后的字符串與實(shí)體詞典中包括的詞進(jìn)行匹配，直到匹配成功，則結(jié)束本輪迭代。

7.如權(quán)利要求6所述的方法，其中，所述將組合后的字符串與實(shí)體詞典中包括的詞進(jìn)行匹配，包括：

若組合后的字符串與實(shí)體詞典中包括的目標(biāo)詞完全一致，則確認(rèn)所述目標(biāo)詞為該字符串的精確匹配結(jié)果；

若組合后的字符串與實(shí)體詞典中包括的目標(biāo)詞部分一致，且該字符串屬于所述目標(biāo)詞的前綴部分，則確認(rèn)所述目標(biāo)詞為該字符串的前綴匹配結(jié)果；若該字符串既存在精確匹配結(jié)果，也存在前綴匹配結(jié)果，則選取精確匹配結(jié)果作為其最終的匹配結(jié)果。

8.如權(quán)利要求6所述的方法，其中，所述每一輪迭代中，將當(dāng)前字符與實(shí)體詞典中包括的詞進(jìn)行匹配之前，還包括：

判斷所述自然語言文本中是否存在連續(xù)數(shù)字；

若判斷出存在連續(xù)數(shù)字，則將該連續(xù)數(shù)字作為單個(gè)字符處理，將該連續(xù)數(shù)字作為當(dāng)前字符，執(zhí)行所述將當(dāng)前字符與實(shí)體詞典中包括的詞進(jìn)行匹配。

9.如權(quán)利要求8所述的方法，其中，所述將該連續(xù)數(shù)字作為當(dāng)前字符，執(zhí)行所述將當(dāng)前字符與實(shí)體詞典中包括的詞進(jìn)行匹配，包括

若該連續(xù)數(shù)字包括中文數(shù)字且?guī)в兄形膯挝唬瑒t將該連續(xù)數(shù)字中的中文數(shù)字轉(zhuǎn)換為阿拉伯?dāng)?shù)字；

將阿拉伯?dāng)?shù)字與中文單位組合后，與實(shí)體詞典中包括的詞進(jìn)行匹配。

10.如權(quán)利要求9所述的方法，其中，所述將阿拉伯?dāng)?shù)字與中文單位組合后，與實(shí)體詞典中包括的詞進(jìn)行匹配，包括：

將阿拉伯?dāng)?shù)字與中文單位組合后，進(jìn)行數(shù)字泛化處理，得到第一泛化結(jié)果，以忽略具體數(shù)字的影響；

將第一泛化結(jié)果與實(shí)體詞典中包括的詞進(jìn)行匹配。

11.如權(quán)利要求10所述的方法，其中，所述方法還包括：

若匹配結(jié)果顯示該連續(xù)數(shù)字對(duì)應(yīng)時(shí)間類別的實(shí)體，則判斷該匹配結(jié)果的時(shí)間高位是否完整；

若判斷出該匹配結(jié)果的時(shí)間高位不完整，則根據(jù)當(dāng)前時(shí)間補(bǔ)齊該匹配結(jié)果的時(shí)間高位。