[發(fā)明專(zhuān)利]文本通順度檢測(cè)方法、裝置、設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011249740.0
• 申請(qǐng)日: 2020-11-10
• 公開(kāi)（公告）號(hào): CN112329433A
• 公開(kāi)（公告）日: 2021-02-05
• 發(fā)明（設(shè)計(jì)）人: 鄭立穎;徐亮
• 申請(qǐng)（專(zhuān)利權(quán)）人: 平安科技（深圳）有限公司
• 主分類(lèi)號(hào): G06F40/205
• 分類(lèi)號(hào): G06F40/205;G06F40/289;G06F40/30
• 代理公司: 深圳市世紀(jì)恒程知識(shí)產(chǎn)權(quán)代理事務(wù)所 44287
• 代理人: 梁馨怡

1.一種文本通順度檢測(cè)方法，其特征在于，所述文本通順度檢測(cè)方法包括以下步驟：

獲取待檢測(cè)文本，將所述待檢測(cè)文本依次進(jìn)行分詞和詞性分析，得到所述待檢測(cè)文本對(duì)應(yīng)的詞性信息；

基于所述待檢測(cè)文本對(duì)應(yīng)的詞性信息，確定所述待檢測(cè)文本中詞語(yǔ)的詞性關(guān)聯(lián)信息，以及基于所述待檢測(cè)文本，確定所述待檢測(cè)文本中詞語(yǔ)的語(yǔ)義信息；

融合所述待檢測(cè)文本對(duì)應(yīng)的所述詞性關(guān)聯(lián)信息和所述語(yǔ)義信息，得到所述待檢測(cè)文本對(duì)應(yīng)的句子特征信息；

將所述句子特征信息輸入至預(yù)存的神經(jīng)網(wǎng)絡(luò)分類(lèi)器，以對(duì)所述待檢測(cè)文本進(jìn)行通順度預(yù)測(cè)，得到所述待檢測(cè)文本的文本通順度結(jié)果。

2.如權(quán)利要求1所述的文本通順度檢測(cè)方法，其特征在于，所述基于所述待檢測(cè)文本對(duì)應(yīng)的詞性信息，確定所述待檢測(cè)文本中詞語(yǔ)的詞性關(guān)聯(lián)信息，以及基于所述待檢測(cè)文本，確定所述待檢測(cè)文本中詞語(yǔ)的語(yǔ)義信息的步驟包括：

將所述待檢測(cè)文本對(duì)應(yīng)的詞性信息輸入至詞向量模型中，確定所述待檢測(cè)文本中詞語(yǔ)的詞性關(guān)聯(lián)信息；

將所述待檢測(cè)文本輸入至雙向轉(zhuǎn)換編碼模型，輸出所述待檢測(cè)文本中詞語(yǔ)的語(yǔ)義信息。

3.如權(quán)利要求2所述的文本通順度檢測(cè)方法，其特征在于，所述將所述待檢測(cè)文本對(duì)應(yīng)的詞性信息輸入至詞向量模型中，確定所述待檢測(cè)文本中詞語(yǔ)的詞性關(guān)聯(lián)信息的步驟之前，還包括：

在通順度語(yǔ)料庫(kù)中獲取通順度語(yǔ)料集，對(duì)所述通順度語(yǔ)料集進(jìn)行分詞處理，得到所述通順度語(yǔ)料集對(duì)應(yīng)的通順度詞集；

對(duì)所述通順度詞集進(jìn)行詞性分析，得到所述通順度詞集對(duì)應(yīng)的詞性信息集；

將所述詞性信息集輸入至初始詞向量模型進(jìn)行訓(xùn)練，得到訓(xùn)練所述初始詞向量模型完成時(shí)對(duì)應(yīng)的所述詞向量模型。

4.如權(quán)利要求3所述的文本通順度檢測(cè)方法，其特征在于，所述在通順度語(yǔ)料庫(kù)中獲取通順度語(yǔ)料集，對(duì)所述通順度語(yǔ)料集進(jìn)行分詞處理，得到所述通順度語(yǔ)料集對(duì)應(yīng)的通順度詞集的步驟之前，還包括：

獲取通順語(yǔ)料，并對(duì)所述通順語(yǔ)料中的句子執(zhí)行插入詞語(yǔ)操作和/或刪除詞語(yǔ)操作和/或語(yǔ)序顛倒操作，得到不通順語(yǔ)料；

基于所述通順度語(yǔ)料和所述不通順語(yǔ)料構(gòu)建所述通順度語(yǔ)料庫(kù)，其中，所述通順度語(yǔ)料庫(kù)中的通順度語(yǔ)料集包括所述通順語(yǔ)料以及所述不通順語(yǔ)料。

5.如權(quán)利要求1所述的文本通順度檢測(cè)方法，其特征在于，所述將所述句子特征信息輸入至預(yù)存的神經(jīng)網(wǎng)絡(luò)分類(lèi)器，以對(duì)所述待檢測(cè)文本進(jìn)行通順度預(yù)測(cè)，得到所述待檢測(cè)文本的文本通順度結(jié)果的步驟包括：

將所述句子特征信息輸入至預(yù)存的不同神經(jīng)網(wǎng)絡(luò)分類(lèi)器，以基于不同神經(jīng)網(wǎng)絡(luò)分類(lèi)器對(duì)應(yīng)的各個(gè)預(yù)測(cè)模型對(duì)所述待檢測(cè)文本進(jìn)行預(yù)測(cè)，得到所述待檢測(cè)文本對(duì)應(yīng)的各個(gè)概率預(yù)測(cè)值；

融合處理所述各個(gè)概率預(yù)測(cè)值，得到所述待檢測(cè)文本的文本通順度結(jié)果。

6.如權(quán)利要求5所述的文本通順度檢測(cè)方法，其特征在于，所述融合處理所述各個(gè)概率預(yù)測(cè)值，得到所述待檢測(cè)文本的文本通順度結(jié)果的步驟包括：

平均處理所述各個(gè)概率預(yù)測(cè)值，得到所述待檢測(cè)文本對(duì)應(yīng)的目標(biāo)概率預(yù)測(cè)值；

將所述目標(biāo)概率預(yù)測(cè)值與預(yù)存閥值進(jìn)行比較，并得到比較結(jié)果，基于該比較結(jié)果，得到所述待檢測(cè)文本的文本通順度結(jié)果。

7.如權(quán)利要求1至6任一項(xiàng)所述的文本通順度檢測(cè)方法，其特征在于，所述基于所述待檢測(cè)文本，確定所述待檢測(cè)文本中詞語(yǔ)的語(yǔ)義信息的步驟包括：

確定所述待檢測(cè)文本中的目標(biāo)詞語(yǔ)以及確定所述待檢測(cè)文本中所述目標(biāo)詞語(yǔ)對(duì)應(yīng)的上下文詞語(yǔ)；

基于所述目標(biāo)詞語(yǔ)對(duì)應(yīng)的目標(biāo)詞向量以及所述上下文詞語(yǔ)對(duì)應(yīng)的上下文詞向量，計(jì)算所述目標(biāo)詞語(yǔ)和所述上下文詞語(yǔ)的相似度權(quán)重；

基于所述相似度權(quán)重和所述目標(biāo)詞語(yǔ)，確定所述待檢測(cè)文本中詞語(yǔ)的語(yǔ)義信息。