[發(fā)明專利]一種數(shù)據(jù)處理方法、裝置、設(shè)備及介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011627178.0
• 申請日: 2020-12-31
• 公開（公告）號: CN114692647A
• 公開（公告）日: 2022-07-01
• 發(fā)明（設(shè)計）人: 張文君;蔣卓;李騰飛;趙炯;汪慶輝
• 申請（專利權(quán)）人: 北京獵戶星空科技有限公司
• 主分類號: G06F40/35
• 分類號: G06F40/35;G06F40/44;G06F16/38;G06F16/332;G06F16/35
• 代理公司: 北京同達(dá)信恒知識產(chǎn)權(quán)代理有限公司 11291
• 代理人: 王娜

本發(fā)明公開了一種數(shù)據(jù)處理方法、裝置、設(shè)備及介質(zhì)，用以解決現(xiàn)有確定的智能問答系統(tǒng)的評價指標(biāo)不準(zhǔn)確，影響了后續(xù)對智能問答系統(tǒng)的優(yōu)化的問題。由于本發(fā)明實施例中在確定智能問答系統(tǒng)的評價指標(biāo)之前，會預(yù)先統(tǒng)計每個目標(biāo)數(shù)據(jù)中所包含的輸入問句被輸入到智能問答系統(tǒng)的頻次，使得后續(xù)可以根據(jù)目標(biāo)數(shù)據(jù)對應(yīng)的標(biāo)簽以及目標(biāo)數(shù)據(jù)所包含的輸入問句的頻次，確定智能問答系統(tǒng)的評價指標(biāo)，使得該評價指標(biāo)更準(zhǔn)確，更能體現(xiàn)該智能問答系統(tǒng)在實際應(yīng)用場景中的實際使用效果，進(jìn)而有利于后續(xù)根據(jù)該評價指標(biāo)、目標(biāo)數(shù)據(jù)以及目標(biāo)數(shù)據(jù)對應(yīng)的標(biāo)簽，對智能問答系統(tǒng)進(jìn)行優(yōu)化。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)處理方法、裝置、設(shè)備及介質(zhì)。

背景技術(shù)

現(xiàn)有技術(shù)中，可以通過智能問答系統(tǒng)，高效地為用戶想要咨詢的問題提供答案。為了進(jìn)一步地提高智能問答系統(tǒng)的性能以及回答用戶的問題的準(zhǔn)確性，需要定時對線上正在應(yīng)用的智能問答系統(tǒng)的實際使用效果進(jìn)行評估，并根據(jù)評估的實際使用效果，對智能問答系統(tǒng)進(jìn)行優(yōu)化。

目前，可以基于智能問答系統(tǒng)的日志數(shù)據(jù)，確定智能問答系統(tǒng)的評價指標(biāo)，后續(xù)基于智能問答系統(tǒng)的日志數(shù)據(jù)以及評價指標(biāo)，對智能問答系統(tǒng)進(jìn)行優(yōu)化。對于該方法，由于是根據(jù)去重后的目標(biāo)數(shù)據(jù)對應(yīng)的標(biāo)簽，該標(biāo)簽用于標(biāo)識目標(biāo)數(shù)據(jù)包括的輸入問句與通過智能問答系統(tǒng)確定的該輸入問句對應(yīng)的標(biāo)準(zhǔn)問句是否語義相似，確定該智能問答系統(tǒng)的評價指標(biāo)的，該評價指標(biāo)會不準(zhǔn)確，無法體現(xiàn)智能問答系統(tǒng)的實際使用效果，影響了后續(xù)地對智能問答系統(tǒng)的優(yōu)化。比如，去重后的目標(biāo)數(shù)據(jù)分別為Q3、Q2、Q1，Q3對應(yīng)的標(biāo)簽為匹配，Q2對應(yīng)的標(biāo)簽為不匹配，Q1對應(yīng)的標(biāo)簽為不匹配，而實際使用過程中，該目標(biāo)數(shù)據(jù)Q3中包括的輸入問句在設(shè)定時間段內(nèi)被輸入到智能問答系統(tǒng)的次數(shù)為100次，每次都被智能問答系統(tǒng)正確識別，目標(biāo)數(shù)據(jù)Q2中包括的輸入問句在設(shè)定時間段內(nèi)被輸入到智能問答系統(tǒng)的次數(shù)為3次，目標(biāo)數(shù)據(jù)Q1中包括的輸入問句在設(shè)定時間段內(nèi)被輸入到智能問答系統(tǒng)的次數(shù)為30次，但均被智能問答系統(tǒng)錯誤識別，則根據(jù)上述去重后的目標(biāo)數(shù)據(jù)對應(yīng)的標(biāo)簽，確定的評價指標(biāo)中的準(zhǔn)確率為1/3，該準(zhǔn)確率是不準(zhǔn)確的。

發(fā)明內(nèi)容

本發(fā)明實施例提供了一種數(shù)據(jù)處理方法、裝置、設(shè)備及介質(zhì)，用以解決現(xiàn)有確定的智能問答系統(tǒng)的評價指標(biāo)不準(zhǔn)確，影響了后續(xù)對智能問答系統(tǒng)的優(yōu)化的問題。

本發(fā)明實施例提供了一種數(shù)據(jù)處理方法，所述方法包括：

從日志數(shù)據(jù)中抽取預(yù)設(shè)的第一數(shù)量的目標(biāo)數(shù)據(jù)，所述日志數(shù)據(jù)包括輸入到智能問答系統(tǒng)的輸入問句、以及通過所述智能問答系統(tǒng)確定的所述輸入問句對應(yīng)的標(biāo)準(zhǔn)問句；

根據(jù)所述目標(biāo)數(shù)據(jù)對應(yīng)的標(biāo)簽、以及所述目標(biāo)數(shù)據(jù)所包含的輸入問句的頻次，確定所述智能問答系統(tǒng)的評價指標(biāo)；其中，所述目標(biāo)數(shù)據(jù)對應(yīng)的標(biāo)簽用于標(biāo)識所述目標(biāo)數(shù)據(jù)中包括的輸入問句與所述目標(biāo)數(shù)據(jù)中包括的標(biāo)準(zhǔn)問句是否匹配，所述輸入問句的頻次為所述輸入問句在設(shè)定時間段內(nèi)被輸入到所述智能問答系統(tǒng)的次數(shù)；

根據(jù)所述評價指標(biāo)、所述目標(biāo)數(shù)據(jù)、及所述目標(biāo)數(shù)據(jù)對應(yīng)的標(biāo)簽，對所述智能問答系統(tǒng)進(jìn)行優(yōu)化。

本發(fā)明實施例提供了一種數(shù)據(jù)處理裝置，所述裝置包括：

抽取單元，用于從日志數(shù)據(jù)中抽取預(yù)設(shè)的第一數(shù)量的目標(biāo)數(shù)據(jù)，所述日志數(shù)據(jù)包括輸入到智能問答系統(tǒng)的輸入問句、以及通過所述智能問答系統(tǒng)確定的所述輸入問句對應(yīng)的標(biāo)準(zhǔn)問句；

確定單元，用于根據(jù)所述目標(biāo)數(shù)據(jù)對應(yīng)的標(biāo)簽、以及所述目標(biāo)數(shù)據(jù)所包含的輸入問句的頻次，確定所述智能問答系統(tǒng)的評價指標(biāo)；其中，所述目標(biāo)數(shù)據(jù)對應(yīng)的標(biāo)簽用于標(biāo)識所述目標(biāo)數(shù)據(jù)中包括的輸入問句與所述目標(biāo)數(shù)據(jù)中包括的標(biāo)準(zhǔn)問句是否匹配，所述輸入問句的頻次為所述輸入問句在設(shè)定時間段內(nèi)被輸入到所述智能問答系統(tǒng)的次數(shù)；

優(yōu)化單元，用于根據(jù)所述評價指標(biāo)、所述目標(biāo)數(shù)據(jù)、及所述目標(biāo)數(shù)據(jù)對應(yīng)的標(biāo)簽，對所述智能問答系統(tǒng)進(jìn)行優(yōu)化。