[發(fā)明專利]一種數(shù)據(jù)處理方法、裝置、設(shè)備及介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011627178.0
• 申請日: 2020-12-31
• 公開（公告）號(hào): CN114692647A
• 公開（公告）日: 2022-07-01
• 發(fā)明（設(shè)計(jì)）人: 張文君;蔣卓;李騰飛;趙炯;汪慶輝
• 申請（專利權(quán)）人: 北京獵戶星空科技有限公司
• 主分類號(hào): G06F40/35
• 分類號(hào): G06F40/35;G06F40/44;G06F16/38;G06F16/332;G06F16/35
• 代理公司: 北京同達(dá)信恒知識(shí)產(chǎn)權(quán)代理有限公司 11291
• 代理人: 王娜

1.一種數(shù)據(jù)處理方法，其特征在于，所述方法包括：

從日志數(shù)據(jù)中抽取預(yù)設(shè)的第一數(shù)量的目標(biāo)數(shù)據(jù)，所述日志數(shù)據(jù)包括輸入到智能問答系統(tǒng)的輸入問句、以及通過所述智能問答系統(tǒng)確定的所述輸入問句對應(yīng)的標(biāo)準(zhǔn)問句；

根據(jù)所述目標(biāo)數(shù)據(jù)對應(yīng)的標(biāo)簽、以及所述目標(biāo)數(shù)據(jù)所包含的輸入問句的頻次，確定所述智能問答系統(tǒng)的評(píng)價(jià)指標(biāo)；其中，所述目標(biāo)數(shù)據(jù)對應(yīng)的標(biāo)簽用于標(biāo)識(shí)所述目標(biāo)數(shù)據(jù)中包括的輸入問句與所述目標(biāo)數(shù)據(jù)中包括的標(biāo)準(zhǔn)問句是否匹配，所述輸入問句的頻次為所述輸入問句在設(shè)定時(shí)間段內(nèi)被輸入到所述智能問答系統(tǒng)的次數(shù)；

根據(jù)所述評(píng)價(jià)指標(biāo)、所述目標(biāo)數(shù)據(jù)、及所述目標(biāo)數(shù)據(jù)對應(yīng)的標(biāo)簽，對所述智能問答系統(tǒng)進(jìn)行優(yōu)化。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述從日志數(shù)據(jù)中抽取預(yù)設(shè)的第一數(shù)量的目標(biāo)數(shù)據(jù)，包括：

通過簡單隨機(jī)抽樣方法，從獲取的所述日志數(shù)據(jù)中抽取所述第一數(shù)量的目標(biāo)數(shù)據(jù)；或

基于統(tǒng)計(jì)的所述日志數(shù)據(jù)所包含的輸入問句的頻次，從日志數(shù)據(jù)中抽取所述第一數(shù)量的目標(biāo)數(shù)據(jù)。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述基于統(tǒng)計(jì)的所述日志數(shù)據(jù)所包含的輸入問句的頻次，從日志數(shù)據(jù)中抽取所述第一數(shù)量的目標(biāo)數(shù)據(jù)，包括：

根據(jù)所述第一數(shù)量以及預(yù)設(shè)的第二數(shù)量，確定頻次區(qū)間數(shù)量，所述第二數(shù)量標(biāo)識(shí)在任一頻次區(qū)間抽取的目標(biāo)數(shù)據(jù)的數(shù)量；根據(jù)所述日志數(shù)據(jù)所包含的輸入問句的頻次、以及所述頻次區(qū)間數(shù)量，確定各所述頻次區(qū)間，以及各所述頻次區(qū)間分別對應(yīng)的第一輸入問句集合；針對各所述頻次區(qū)間，從該頻次區(qū)間對應(yīng)的第一輸入問句集合中抽取所述第二數(shù)量的第二日志數(shù)據(jù)確定為目標(biāo)數(shù)據(jù)；

或者

針對每個(gè)所述日志數(shù)據(jù)，根據(jù)該日志數(shù)據(jù)所包含的輸入問句的頻次、以及根據(jù)每個(gè)所述日志數(shù)據(jù)所包含的輸入問句的頻次確定的第一總頻次，確定該日志數(shù)據(jù)的概率值；根據(jù)所述概率值、以及已獲取到的目標(biāo)數(shù)據(jù)的數(shù)量，確定該日志數(shù)據(jù)是否為目標(biāo)數(shù)據(jù)。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述根據(jù)所述概率值、以及已獲取到的目標(biāo)數(shù)據(jù)的數(shù)量，確定該日志數(shù)據(jù)是否為目標(biāo)數(shù)據(jù)，包括：

從預(yù)先配置的數(shù)值范圍內(nèi)確定任一隨機(jī)值；

若所述隨機(jī)值小于所述概率值、且已獲取到的目標(biāo)數(shù)據(jù)的數(shù)量小于所述第一數(shù)量，確定該日志數(shù)據(jù)為所述目標(biāo)數(shù)據(jù)；否則，確定該日志數(shù)據(jù)不為所述目標(biāo)數(shù)據(jù)。

5.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述根據(jù)所述第一數(shù)量以及預(yù)設(shè)的第二數(shù)量，確定頻次區(qū)間數(shù)量，包括：

針對每種日志數(shù)據(jù)分類，根據(jù)預(yù)先配置的該分類對應(yīng)的比例、以及所述第一數(shù)量，確定第三數(shù)量，所述第三數(shù)量標(biāo)識(shí)從該分類對應(yīng)的日志數(shù)據(jù)中抽取的目標(biāo)數(shù)據(jù)的數(shù)量；根據(jù)所述第三數(shù)量、以及所述第二數(shù)量，確定該分類對應(yīng)的頻次區(qū)間數(shù)量；

根據(jù)所述日志數(shù)據(jù)所包含的輸入問句的頻次、以及所述頻次區(qū)間數(shù)量，確定各所述頻次區(qū)間，以及各所述頻次區(qū)間分別對應(yīng)的第一輸入問句集合，包括：

針對每種日志數(shù)據(jù)分類，確定該分類對應(yīng)的日志數(shù)據(jù)；根據(jù)該分類對應(yīng)的日志數(shù)據(jù)所包含的輸入問句的頻次、以及該分類對應(yīng)的頻次區(qū)間數(shù)量，確定該分類對應(yīng)的各所述頻次區(qū)間，以及各所述頻次區(qū)間分別對應(yīng)的第一輸入問句集合。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，任一日志數(shù)據(jù)的分類通過如下方式確定：

若通過所述智能問答系統(tǒng)，確定所述日志數(shù)據(jù)包含的輸入問句與所述日志數(shù)據(jù)包含的標(biāo)準(zhǔn)問句語義不相似，則確定所述日志數(shù)據(jù)對應(yīng)的分類為第一分類；

或者

若通過所述智能問答系統(tǒng)，確定所述日志數(shù)據(jù)包含的輸入問句與所述日志數(shù)據(jù)包含的標(biāo)準(zhǔn)問句語義相似，則確定所述日志數(shù)據(jù)對應(yīng)的分類為第二分類，所述第二分類為所述標(biāo)準(zhǔn)問句對應(yīng)的領(lǐng)域。

7.根據(jù)權(quán)利要求1-6任一所述的方法，其特征在于，所述評(píng)價(jià)指標(biāo)包括準(zhǔn)確率、精確率、召回率、F(n)指標(biāo)、誤召率、以及漏召率中的至少一種。