[發(fā)明專利]數(shù)據(jù)標(biāo)注方法、問答方法、裝置及電子設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 202010464530.7
• 申請(qǐng)日: 2020-05-27
• 公開（公告）號(hào): CN111611781B
• 公開（公告）日: 2023-08-18
• 發(fā)明（設(shè)計(jì)）人: 常德杰;孔飛;劉邦長;谷書鋒;趙紅文;王燕華;張一坤;武云召;劉朝振;王海;劉紅霞;張航飛;季科
• 申請(qǐng)（專利權(quán)）人: 北京妙醫(yī)佳健康科技集團(tuán)有限公司
• 主分類號(hào): G06F40/169
• 分類號(hào): G06F40/169;G06F16/33
• 代理公司: 北京超凡宏宇專利代理事務(wù)所(特殊普通合伙) 11463
• 代理人: 范彥揚(yáng)

本發(fā)明提供了一種數(shù)據(jù)標(biāo)注方法、問答方法、裝置及電子設(shè)備，數(shù)據(jù)標(biāo)注方法包括：獲取初始問題；在預(yù)先建立的問答庫中查找預(yù)設(shè)數(shù)量的與初始問題的相似度超過第一預(yù)設(shè)閾值的問題，將查找到的問題作為初始問題對(duì)應(yīng)的相似問題；將初始問題與初始問題對(duì)應(yīng)的相似問題組成問題對(duì)；根據(jù)問題對(duì)的相似度對(duì)問題對(duì)進(jìn)行標(biāo)注。本發(fā)明能夠在適用于更多場景的同時(shí)提高標(biāo)注結(jié)果的準(zhǔn)確性。

技術(shù)領(lǐng)域

本發(fā)明涉及人工智能技術(shù)領(lǐng)域，尤其是涉及一種數(shù)據(jù)標(biāo)注方法、問答方法、裝置及電子設(shè)備。

背景技術(shù)

隨著深度學(xué)習(xí)的發(fā)展，數(shù)據(jù)集作為深度學(xué)習(xí)模型訓(xùn)練的基石和原料也變的越來越重要。現(xiàn)有的基于深度學(xué)習(xí)的問答系統(tǒng)的流程為當(dāng)用戶詢問一個(gè)問題時(shí)，該系統(tǒng)的核模塊-意圖判定模塊判斷該問題的意圖，并進(jìn)行相應(yīng)的處理，因此需要一個(gè)數(shù)據(jù)集來訓(xùn)練該模塊，在建立數(shù)據(jù)集時(shí)則需要對(duì)數(shù)據(jù)進(jìn)行標(biāo)注。現(xiàn)有的數(shù)據(jù)標(biāo)注方法大多采用關(guān)鍵詞映射的方式，即一個(gè)關(guān)鍵詞對(duì)應(yīng)一個(gè)意圖，這種方法只適用于意圖簡單或者意圖不多的場景，當(dāng)意圖較多時(shí)，很難通過人工標(biāo)注得到映射列表，同時(shí)通過人工主觀判斷進(jìn)行標(biāo)注會(huì)導(dǎo)致標(biāo)注結(jié)果準(zhǔn)確性差。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明的目的在于提供一種數(shù)據(jù)標(biāo)注方法、問答方法、裝置及電子設(shè)備，能夠在適用于更多場景的同時(shí)提高標(biāo)注結(jié)果的準(zhǔn)確性。

第一方面，本發(fā)明實(shí)施例提供了一種數(shù)據(jù)標(biāo)注方法，包括：獲取初始問題；在預(yù)先建立的問答庫中查找預(yù)設(shè)數(shù)量的與初始問題的相似度超過第一預(yù)設(shè)閾值的問題，將查找到的問題作為初始問題對(duì)應(yīng)的相似問題；將初始問題與初始問題對(duì)應(yīng)的相似問題組成問題對(duì)；根據(jù)問題對(duì)的相似度對(duì)問題對(duì)進(jìn)行標(biāo)注。

在一種實(shí)施方式中，根據(jù)問題對(duì)的相似度對(duì)問題對(duì)進(jìn)行標(biāo)注的步驟，包括：如果問題對(duì)中的初始問題和相似問題之間的題干相似度小于第二預(yù)設(shè)閾值，且問題對(duì)中的初始問題和相似問題之間的意圖相似度大于第三預(yù)設(shè)閾值，將問題對(duì)標(biāo)注為第一值；如果問題對(duì)中的初始問題和相似問題之間的題干相似度大于第二預(yù)設(shè)閾值，且問題對(duì)中的初始問題和相似問題之間的意圖相似度小于第三預(yù)設(shè)閾值，將問題對(duì)標(biāo)注為第二值。

在一種實(shí)施方式中，初始問題的數(shù)量為多個(gè)，方法還包括：將初始問題按照預(yù)設(shè)類別劃分為多類，得到不同分類類別的初始問題；根據(jù)問題對(duì)的相似度對(duì)問題對(duì)進(jìn)行標(biāo)注的步驟，包括：基于問題對(duì)中初始問題的分類類別和問題對(duì)的相似度，對(duì)問題對(duì)進(jìn)行標(biāo)注。

在一種實(shí)施方式中，方法還包括：如果相似問題的數(shù)量小于預(yù)設(shè)數(shù)量，獲取指定數(shù)量的問題作為補(bǔ)充問題；其中，指定數(shù)量為預(yù)設(shè)數(shù)量與相似問題的數(shù)量的差值。

在一種實(shí)施方式中，問題對(duì)的數(shù)量為多個(gè)，方法還包括：將已標(biāo)注的多個(gè)問題對(duì)按照預(yù)設(shè)比例進(jìn)行劃分，得到訓(xùn)練集、測試集和驗(yàn)證集；訓(xùn)練集、測試集和驗(yàn)證集均包括多個(gè)已標(biāo)注的問題對(duì)。

第二方面，本發(fā)明實(shí)施例提供了一種問答方法，包括：獲取待回答問題；基于意圖判斷模型和預(yù)先建立的問答庫確定待回答問題的答案；其中，意圖判斷模型是采用預(yù)先建立的相似問題數(shù)據(jù)庫訓(xùn)練得到的；相似問題數(shù)據(jù)庫中包含多個(gè)問題對(duì)，問題對(duì)是采用上述第一方面提供的任一項(xiàng)的方法進(jìn)行標(biāo)注的；問答庫中包含有問題和答案的對(duì)應(yīng)關(guān)系。

第三方面，本發(fā)明實(shí)施例提供了一種數(shù)據(jù)標(biāo)注裝置，包括：問題獲取模塊，用于獲取初始問題；問題查找模塊，用于在預(yù)先建立的問答庫中查找預(yù)設(shè)數(shù)量的與初始問題的相似度超過第一預(yù)設(shè)閾值的問題，將查找到的問題作為初始問題對(duì)應(yīng)的相似問題；問題對(duì)獲取模塊，用于將初始問題與初始問題對(duì)應(yīng)的相似問題組成問題對(duì)；標(biāo)注模塊，用于根據(jù)問題對(duì)的相似度對(duì)問題對(duì)進(jìn)行標(biāo)注。

第四方面，本發(fā)明實(shí)施例提供了一種問答裝置，包括：獲取模塊，用于獲取待回答問題；答案確定模塊，用于基于意圖判斷模型和預(yù)先建立的問答庫確定待回答問題的答案；其中，意圖判斷模型是采用預(yù)先建立的相似問題數(shù)據(jù)庫訓(xùn)練得到的；相似問題數(shù)據(jù)庫中包含多個(gè)問題對(duì)，問題對(duì)是采用上述第一方面提供的任一項(xiàng)的方法進(jìn)行標(biāo)注的；問答庫中包含有問題和答案的對(duì)應(yīng)關(guān)系。