[發明專利]單語句通順度預測方法、裝置、設備及存儲介質

在審

• 申請號: 202010138555.8
• 申請日: 2020-03-03
• 公開（公告）號: CN111428468A
• 公開（公告）日: 2020-07-17
• 發明（設計）人: 黃嘉鑫
• 申請（專利權）人: 中國平安人壽保險股份有限公司
• 主分類號: G06F40/205
• 分類號: G06F40/205;G06F40/279;G06F16/35;G06N3/04;G06N3/08
• 代理公司: 北京市京大律師事務所 11321
• 代理人: 劉挽瀾

1.一種單語句通順度預測方法，其特征在于，所述單語句通順度預測方法包括以下步驟：

獲取待判斷的單語句并確定該單語句對應的應用場景；

將所述單語句輸入所述應用場景對應的預置語句通順度模型，其中，所述語句通順度模型為神經網絡模型，且以Bert模型作為所述神經網絡模型的輸入層、以CNN模型作為所述神經網絡模型的分類器；

通過所述Bert模型將所述單語句轉換為句向量并輸入所述CNN模型，所述CNN模型依次包括：卷積層、池化層、Flatten層、連接層、Dropout層、全連接層以及由Sigmoid函數構成的輸出層；

依次通過所述卷積層、池化層、Flatten層、連接層、Dropout層、全連接層的處理后，得到所述單語句中的全局特征向量；

將所述全局特征向量輸入所述輸出層進行Sigmoid函數計算后輸出，得到所述單語句的語句通順度預測值，其中，單語句的通順度與所述語句通順度預測值成正比。

2.如權利要求1所述的單語句通順度預測方法，其特征在于，所述依次通過所述卷積層、池化層、Flatten層、連接層、Dropout層、全連接層的處理后，得到所述單語句中的全局特征向量包括：

通過所述卷積層提取所述句向量中的局部特征向量并輸入所述池化層進行降維，得到多個低維度的局部特征向量以及通過Flatten層將多個低維度的局部特征向量壓縮為多個一維的局部特征向量；

通過所述Dropout層對所述多個一維的局部特征向量進行正則化處理，得到處理后的多個最優局部特征向量；

將所述多個最優局部特征向量輸入所述全連接層進行特征組合，得到所述單語句中的全局特征向量。

3.如權利要求1所述的單語句通順度預測方法，其特征在于，在所述獲取待判斷的單語句并確定該單語句對應的應用場景的步驟之前，還包括：

獲取指定應用場景下的正常語句作為正樣本；

分別調整各正樣本中字詞的表達順序，得到對應的負樣本；

重復調整各正樣本中字詞的表達順序，直至正樣本與負樣本的比例達到預置比例，其中，所述預置比例為1:2、1:3、1:4中的任一種。

4.如權利要求3所述的單語句通順度預測方法，其特征在于，所述分別調整各正樣本中字詞的表達順序，得到對應的負樣本包括：

分別將各正樣本中語句按字或詞進行隨機排序并重構成新語句，得到對應的負樣本；和/或

分別將各正樣本中語句的字或詞隨機替換成預置詞典中的字或詞，得到對應的負樣本，其中，隨機替換的字詞的總長度小于對應語句的字詞長度的一半。

5.如權利要求3或4所述的單語句通順度預測方法，其特征在于，在所述獲取待判斷的單語句并確定該單語句對應的應用場景的步驟之前，還包括：

將所有正樣本的樣本標簽設置為1、所有負樣本的樣本標簽設置為-1；

將各帶樣本標簽的正樣本和負樣本輸入所述神經網絡模型中進行訓練，并判斷所述神經網絡模型對應的交叉熵損失函數是否收斂；

若所述神經網絡模型對應的交叉熵損失函數收斂，則停止訓練，得到所述語句通順度模型，否則調整所述神經網絡模型的學習權重并繼續進行訓練。