[發(fā)明專利]句型識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201911165208.8
• 申請(qǐng)日: 2019-11-25
• 公開(kāi)（公告）號(hào): CN111507085B
• 公開(kāi)（公告）日: 2023-07-07
• 發(fā)明（設(shè)計(jì)）人: 王沖;崇傳兵
• 申請(qǐng)（專利權(quán)）人: 江蘇艾佳家居用品有限公司
• 主分類號(hào): G06F40/211
• 分類號(hào): G06F40/211;G06F40/279;G06F40/289;G06F16/332
• 代理公司: 南京新慧恒誠(chéng)知識(shí)產(chǎn)權(quán)代理有限公司 32424
• 代理人: 鄧唯

本發(fā)明公開(kāi)了一種句型識(shí)別方法，通過(guò)獲取訓(xùn)練數(shù)據(jù)集，在對(duì)訓(xùn)練數(shù)據(jù)集進(jìn)行預(yù)處理后，根據(jù)預(yù)處理后的訓(xùn)練數(shù)據(jù)集確定問(wèn)句對(duì)應(yīng)的第一詞向量序列以及非問(wèn)句對(duì)應(yīng)的第二詞向量序列，獲取待識(shí)別語(yǔ)句中的各個(gè)詞，得到多個(gè)目標(biāo)詞，在第一詞向量序列中查找各個(gè)目標(biāo)詞的第一詞向量，依據(jù)各個(gè)第一詞向量確定問(wèn)句詞向量QV1，在第二詞向量序列中查找各個(gè)目標(biāo)詞的第二詞向量，依據(jù)各個(gè)第二詞向量確定非問(wèn)句詞向量QV2，計(jì)算問(wèn)句詞向量QV1和非問(wèn)句詞向量QV2之間的余弦相似度，根據(jù)余弦相似度確定待識(shí)別語(yǔ)句的類型，使待識(shí)別語(yǔ)句的類型以待識(shí)別語(yǔ)句所包括的目標(biāo)詞為依據(jù)，可以提高識(shí)別結(jié)果的準(zhǔn)確性，從而提高識(shí)別精度。

技術(shù)領(lǐng)域

本發(fā)明涉及信號(hào)處理技術(shù)領(lǐng)域，尤其涉及一種句型識(shí)別方法和存儲(chǔ)介質(zhì)。

背景技術(shù)

問(wèn)答系統(tǒng)(Question?Answering?System，QA)是信息檢索系統(tǒng)的一種高級(jí)形式，它能用準(zhǔn)確、簡(jiǎn)潔的自然語(yǔ)言回答用戶用自然語(yǔ)言提出的問(wèn)題。一個(gè)問(wèn)答系統(tǒng)牽涉到問(wèn)和答，那么從海量的語(yǔ)句中識(shí)別出問(wèn)句是個(gè)很迫切的需求。只有識(shí)別出C端(客戶端)的問(wèn)答需求，才能更好的針對(duì)問(wèn)題進(jìn)行歸納整理答案，更好的服務(wù)客戶。傳統(tǒng)方案往往通過(guò)分析標(biāo)點(diǎn)等句型特征進(jìn)行句型識(shí)別，雖然在一定程度上可以響應(yīng)句型識(shí)別需求，然而往往存在識(shí)別精度低的問(wèn)題。

發(fā)明內(nèi)容

針對(duì)以上問(wèn)題，本發(fā)明提出一種句型識(shí)別方法和存儲(chǔ)介質(zhì)。

為實(shí)現(xiàn)本發(fā)明的目的，提供一種句型識(shí)別方法，包括如下步驟：

S10，獲取訓(xùn)練數(shù)據(jù)集；所述訓(xùn)練數(shù)據(jù)集包括多個(gè)標(biāo)注句型的問(wèn)句以及多個(gè)標(biāo)注句型的非問(wèn)句；

S30，在對(duì)訓(xùn)練數(shù)據(jù)集進(jìn)行預(yù)處理后，根據(jù)預(yù)處理后的訓(xùn)練數(shù)據(jù)集確定問(wèn)句對(duì)應(yīng)的第一詞向量序列以及非問(wèn)句對(duì)應(yīng)的第二詞向量序列；所述第一詞向量序列用于計(jì)算各個(gè)詞語(yǔ)的第一詞向量，第一詞向量表征相應(yīng)詞語(yǔ)屬于問(wèn)句的概率，所述第二詞向量序列用于計(jì)算各個(gè)詞語(yǔ)的第二詞向量，第二詞向量表征相應(yīng)詞語(yǔ)屬于非問(wèn)句的概率；

S40，獲取待識(shí)別語(yǔ)句中的各個(gè)詞，得到多個(gè)目標(biāo)詞，在第一詞向量序列中查找各個(gè)目標(biāo)詞的第一詞向量，依據(jù)各個(gè)第一詞向量確定問(wèn)句詞向量QV1，在第二詞向量序列中查找各個(gè)目標(biāo)詞的第二詞向量，依據(jù)各個(gè)第二詞向量確定非問(wèn)句詞向量QV2；

S50，計(jì)算問(wèn)句詞向量QV1和非問(wèn)句詞向量QV2之間的余弦相似度，根據(jù)所述余弦相似度確定待識(shí)別語(yǔ)句的類型。

在一個(gè)實(shí)施例中，所述計(jì)算問(wèn)句詞向量QV1和非問(wèn)句詞向量QV2之間的余弦相似度，根據(jù)所述余弦相似度確定待識(shí)別語(yǔ)句的類型包括：

分別將問(wèn)句詞向量QV1和非問(wèn)句詞向量QV2轉(zhuǎn)換為設(shè)定長(zhǎng)度的向量，計(jì)算轉(zhuǎn)換后的兩個(gè)向量的余弦相似度；

當(dāng)余弦相似度大于設(shè)定閾值時(shí)，判定待識(shí)別語(yǔ)句為非問(wèn)句，當(dāng)余弦相似度小于設(shè)定閾值時(shí)，判定待識(shí)別語(yǔ)句為問(wèn)句。

在一個(gè)實(shí)施例中，在對(duì)訓(xùn)練數(shù)據(jù)集進(jìn)行預(yù)處理后，根據(jù)預(yù)處理后的訓(xùn)練數(shù)據(jù)集確定問(wèn)句對(duì)應(yīng)的第一詞向量序列以及非問(wèn)句對(duì)應(yīng)的第二詞向量序列之前，還包括：

S20，對(duì)所述訓(xùn)練數(shù)據(jù)集進(jìn)行預(yù)處理，以去除所述訓(xùn)練數(shù)據(jù)集中各個(gè)語(yǔ)句中的噪聲詞。

作為一個(gè)實(shí)施例，所述對(duì)所述訓(xùn)練數(shù)據(jù)集進(jìn)行預(yù)處理包括：

獲取訓(xùn)練數(shù)據(jù)集中語(yǔ)句集合C＝{C₁，C₂，C₃，...，C_n}和標(biāo)簽集合L＝{L₁，L₂，L₃，...，L_n}；C_i表示第i個(gè)語(yǔ)句，i＝1，2，......，n，n表示訓(xùn)練數(shù)據(jù)集中的語(yǔ)句個(gè)數(shù)；

將每個(gè)語(yǔ)句進(jìn)行分詞，去除各個(gè)語(yǔ)句中的停用詞；

對(duì)去除停用詞后的各個(gè)語(yǔ)句進(jìn)行詞過(guò)濾，得到過(guò)濾結(jié)果；