[發(fā)明專利]一種基于深度學(xué)習(xí)的FAQ檢索式問(wèn)答構(gòu)建方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011584447.X
• 申請(qǐng)日: 2020-12-28
• 公開(kāi)（公告）號(hào): CN112559723A
• 公開(kāi)（公告）日: 2021-03-26
• 發(fā)明（設(shè)計(jì)）人: 孫永毫;蒙碧軍
• 申請(qǐng)（專利權(quán)）人: 廣東國(guó)粒教育技術(shù)有限公司
• 主分類號(hào): G06F16/332
• 分類號(hào): G06F16/332;G06F16/335;G06F16/35;G06F40/205;G06F40/35;G06N3/04;G06N3/08
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 盧澤明

1.一種基于深度學(xué)習(xí)的FAQ檢索式問(wèn)答構(gòu)建方法，其特征在于，包括以下步驟：

步驟S1，獲取用戶問(wèn)題，并整理與所述用戶問(wèn)題相關(guān)的文檔內(nèi)容；

步驟S2，構(gòu)建訓(xùn)練集和測(cè)試集；

步驟S3，在測(cè)試集和訓(xùn)練集的基礎(chǔ)上，增強(qiáng)數(shù)據(jù)；

步驟S4，模型建立及迭代優(yōu)化；

步驟S5，模型建立完之后，設(shè)置問(wèn)答系統(tǒng)，用戶任意問(wèn)問(wèn)題，系統(tǒng)會(huì)根據(jù)神經(jīng)網(wǎng)絡(luò)模型預(yù)測(cè)該問(wèn)題屬于哪一類，進(jìn)而給出相應(yīng)的答案。

2.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的FAQ檢索式問(wèn)答構(gòu)建方法，其特征在于，所述步驟S1中，對(duì)于有大量問(wèn)答記錄的場(chǎng)景，問(wèn)答記錄里面包括很多高頻的知識(shí)點(diǎn)，所述高頻的知識(shí)點(diǎn)包括問(wèn)題和答案；

所述高頻的知識(shí)點(diǎn)對(duì)應(yīng)的問(wèn)法通常并不唯一，即知識(shí)庫(kù)的結(jié)構(gòu)為一個(gè)問(wèn)題集合對(duì)應(yīng)同一個(gè)答案，其針對(duì)FAQ數(shù)據(jù)有以下三種數(shù)據(jù)類型：

(1)、標(biāo)準(zhǔn)問(wèn)q：FAQ中問(wèn)題的標(biāo)準(zhǔn)用戶query；

(2)、答案A：FAQ中標(biāo)準(zhǔn)問(wèn)對(duì)應(yīng)的標(biāo)準(zhǔn)回答；

(3)、相似問(wèn)q1，q2…：跟標(biāo)準(zhǔn)問(wèn)語(yǔ)義相似可用同一答案回答的query；

其中，標(biāo)準(zhǔn)問(wèn)q、對(duì)應(yīng)答案A、以及該標(biāo)準(zhǔn)問(wèn)q對(duì)應(yīng)的所有相似問(wèn)q1，q2，…，一起組成一個(gè)知識(shí)點(diǎn)。

3.根據(jù)權(quán)利要求2所述的一種基于深度學(xué)習(xí)的FAQ檢索式問(wèn)答構(gòu)建方法，其特征在于，所述步驟S1中，需要建立一個(gè)更加合理的知識(shí)庫(kù)，要求每個(gè)知識(shí)點(diǎn)只包含一個(gè)意圖，且知識(shí)點(diǎn)之間沒(méi)有交叉、歧義、冗余容易造成混淆的因素；

而且，所述知識(shí)庫(kù)的標(biāo)注為每個(gè)FAQ積累一定數(shù)量的有代表性的相似問(wèn)。

4.根據(jù)權(quán)利要求2所述的一種基于深度學(xué)習(xí)的FAQ檢索式問(wèn)答構(gòu)建方法，其特征在于，所述步驟S1的后期持續(xù)維護(hù)包括：新FAQ發(fā)現(xiàn)，以及原FAQ的合并、拆分和糾正。

5.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的FAQ檢索式問(wèn)答構(gòu)建方法，其特征在于，所述步驟S2中，具體包括以下步驟：

測(cè)試集構(gòu)造：將相似問(wèn)中的第一條相似問(wèn)q1作為query，從FAQ知識(shí)庫(kù)的所有知識(shí)點(diǎn)中通過(guò)Lucene召回30個(gè)知識(shí)點(diǎn)作為候選集；

訓(xùn)練集構(gòu)造：包含兩部分，一部分是正例的構(gòu)造，另一部分是負(fù)例的構(gòu)造，所述正例的構(gòu)造和所述負(fù)例的構(gòu)造中數(shù)據(jù)的構(gòu)造方式將直接影響到最終的效果；

在正例的構(gòu)造中，因?yàn)槊總€(gè)知識(shí)點(diǎn)的第一個(gè)相似問(wèn)是作為測(cè)試集中出現(xiàn)的，所以在構(gòu)造訓(xùn)練集的時(shí)候排除掉所有知識(shí)點(diǎn)中的第一條相似問(wèn)q1；這樣，有多于2個(gè)相似問(wèn)的知識(shí)點(diǎn)、還有多于的其他相似問(wèn)可以用來(lái)構(gòu)造訓(xùn)練集；將這些識(shí)點(diǎn)中的標(biāo)準(zhǔn)問(wèn)和從相似問(wèn)的第二條開(kāi)始(即[q2，q3，…，qn])可以按照不同方式構(gòu)造出正例和負(fù)例。

6.根據(jù)權(quán)利要求5所述的一種基于深度學(xué)習(xí)的FAQ檢索式問(wèn)答構(gòu)建方法，其特征在于，所述步驟S2中，在訓(xùn)練集正例的構(gòu)造中，去除所有知識(shí)點(diǎn)中的第一條相似問(wèn)q1，其他相似問(wèn)及標(biāo)準(zhǔn)問(wèn)兩兩組合成正例pair對(duì)；對(duì)于相似問(wèn)多的知識(shí)點(diǎn)進(jìn)行剪切。

7.根據(jù)權(quán)利要求5所述的一種基于深度學(xué)習(xí)的FAQ檢索式問(wèn)答構(gòu)建方法，其特征在于，所述步驟S2中，訓(xùn)練集負(fù)例的構(gòu)造方式包括：按Jaccard距離召回、按Lucene召回、從其他知識(shí)點(diǎn)中隨機(jī)選擇和按照正例中各問(wèn)題出現(xiàn)的比例從其他知識(shí)點(diǎn)中采樣選擇，以及每個(gè)句子和句子中的名詞/動(dòng)詞構(gòu)成pair對(duì)；而針對(duì)知識(shí)點(diǎn)分布不均衡的問(wèn)題，對(duì)相似問(wèn)很多的知識(shí)點(diǎn)進(jìn)行相似問(wèn)剪切。

8.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的FAQ檢索式問(wèn)答構(gòu)建方法，其特征在于，所述步驟S3中，由于深度學(xué)習(xí)需要較多的數(shù)據(jù)，為了增強(qiáng)數(shù)據(jù)，采用以下策略：

交換兩個(gè)句子之間的順序；

對(duì)句子進(jìn)行分詞，重新組合生成新的句子；

打亂句子的順序，隨機(jī)抽取句子。