[發(fā)明專利]對話系統(tǒng)訓(xùn)練數(shù)據(jù)構(gòu)建方法、裝置、電子設(shè)備及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 201910215916.1
• 申請日: 2019-03-21
• 公開（公告）號: CN109947924B
• 公開（公告）日: 2021-08-31
• 發(fā)明（設(shè)計）人: 韓磊;張紅陽;陳雷
• 申請（專利權(quán)）人: 百度在線網(wǎng)絡(luò)技術(shù)（北京）有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/33;G06F16/335
• 代理公司: 北京清亦華知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 宋合成

本申請?zhí)岢鲆环N對話系統(tǒng)訓(xùn)練數(shù)據(jù)構(gòu)建方法、裝置、電子設(shè)備及存儲介質(zhì)，其中，該方法包括：對對話系統(tǒng)的歷史使用數(shù)據(jù)進(jìn)行統(tǒng)計處理，確定對話系統(tǒng)對應(yīng)的歷史查詢語句集、每個歷史查詢語句對應(yīng)的查詢頻次及每個歷史查詢語句對應(yīng)的識別結(jié)果；根據(jù)每個歷史查詢語句對應(yīng)的查詢頻次及識別結(jié)果，從歷史查詢語句集中獲取參考查詢語句；判斷全部參考查詢語句的數(shù)量是否大于第一閾值；若是，則利用全部參考查詢語句及全部參考查詢語句對應(yīng)的識別結(jié)果，構(gòu)建對話系統(tǒng)的訓(xùn)練數(shù)據(jù)集。由此，通過這種對話系統(tǒng)訓(xùn)練數(shù)據(jù)構(gòu)建方法，不僅節(jié)約了人工成本，提高了訓(xùn)練數(shù)據(jù)集的構(gòu)建效率，而且進(jìn)一步提高了對話系統(tǒng)的準(zhǔn)確性和可靠性。

技術(shù)領(lǐng)域

本申請涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種對話系統(tǒng)訓(xùn)練數(shù)據(jù)構(gòu)建方法、裝置、電子設(shè)備及存儲介質(zhì)。

背景技術(shù)

隨著機(jī)器學(xué)習(xí)技術(shù)的發(fā)展，特別是近年來神經(jīng)網(wǎng)絡(luò)的迅猛發(fā)展，有效的訓(xùn)練數(shù)據(jù)變得越來越重要，甚至被稱為未來的“數(shù)據(jù)石油”。自然語言處理(Natural LanguageProcessing，簡稱NLP)領(lǐng)域的口語化理解(Spoken Language Understanding，簡稱SLU)任務(wù)，旨在解決人機(jī)對話中的語義理解問題，將口語對話(query)解析為意圖(intent)和槽位(slot)這種結(jié)構(gòu)化數(shù)據(jù)以便計算機(jī)處理。

相關(guān)技術(shù)中，機(jī)器學(xué)習(xí)技術(shù)是實(shí)現(xiàn)SLU任務(wù)的一種主要方法。通過機(jī)器學(xué)習(xí)技術(shù)實(shí)現(xiàn)SLU任務(wù)，需要大量且有效的訓(xùn)練數(shù)據(jù)來訓(xùn)練模型。目前，通常通過人工對數(shù)據(jù)進(jìn)行標(biāo)注，以構(gòu)建訓(xùn)練數(shù)據(jù)。但是，這種通過人工方式對數(shù)據(jù)進(jìn)行標(biāo)注的方法，不僅成本高，而且效率低。

發(fā)明內(nèi)容

本申請?zhí)岢龅膶υ捪到y(tǒng)訓(xùn)練數(shù)據(jù)構(gòu)建方法、裝置、電子設(shè)備及存儲介質(zhì)，用于解決相關(guān)技術(shù)中，通過人工方式對數(shù)據(jù)進(jìn)行標(biāo)注以構(gòu)建訓(xùn)練數(shù)據(jù)的方法，不僅成本高，而且效率低的問題。

本申請一方面實(shí)施例提出的對話系統(tǒng)訓(xùn)練數(shù)據(jù)構(gòu)建方法，包括：對對話系統(tǒng)的歷史使用數(shù)據(jù)進(jìn)行統(tǒng)計處理，確定所述對話系統(tǒng)對應(yīng)的歷史查詢語句集、每個歷史查詢語句對應(yīng)的查詢頻次及每個歷史查詢語句對應(yīng)的識別結(jié)果；根據(jù)每個歷史查詢語句對應(yīng)的查詢頻次及識別結(jié)果，從所述歷史查詢語句集中獲取參考查詢語句；判斷全部參考查詢語句的數(shù)量是否大于第一閾值；若是，則利用所述全部參考查詢語句及所述全部參考查詢語句對應(yīng)的識別結(jié)果，構(gòu)建所述對話系統(tǒng)的訓(xùn)練數(shù)據(jù)集。

本申請另一方面實(shí)施例提出的對話系統(tǒng)訓(xùn)練數(shù)據(jù)構(gòu)建裝置，包括：第一確定模塊，用于對對話系統(tǒng)的歷史使用數(shù)據(jù)進(jìn)行統(tǒng)計處理，確定所述對話系統(tǒng)對應(yīng)的歷史查詢語句集、每個歷史查詢語句對應(yīng)的查詢頻次及每個歷史查詢語句對應(yīng)的識別結(jié)果；第一獲取模塊，用于根據(jù)每個歷史查詢語句對應(yīng)的查詢頻次及識別結(jié)果，從所述歷史查詢語句集中獲取參考查詢語句；第一判斷模塊，用于判斷全部參考查詢語句的數(shù)量是否大于第一閾值；構(gòu)建模塊，用于若是，則利用所述全部參考查詢語句及所述全部參考查詢語句對應(yīng)的識別結(jié)果，構(gòu)建所述對話系統(tǒng)的訓(xùn)練數(shù)據(jù)集。

本申請再一方面實(shí)施例提出的電子設(shè)備，其包括：存儲器、處理器及存儲在存儲器上并可在處理器上運(yùn)行的計算機(jī)程序，其特征在于，所述處理器執(zhí)行所述程序時實(shí)現(xiàn)如前所述的對話系統(tǒng)訓(xùn)練數(shù)據(jù)構(gòu)建方法。

本申請再一方面實(shí)施例提出的計算機(jī)可讀存儲介質(zhì)，其上存儲有計算機(jī)程序，其特征在于，所述程序被處理器執(zhí)行時實(shí)現(xiàn)如前所述的對話系統(tǒng)訓(xùn)練數(shù)據(jù)構(gòu)建方法。

本申請又一方面實(shí)施例提出的計算機(jī)程序，該程序被處理器執(zhí)行時，以實(shí)現(xiàn)本申請實(shí)施例所述的對話系統(tǒng)訓(xùn)練數(shù)據(jù)構(gòu)建方法。