[發明專利]神經網絡中序列長度選擇方法、裝置、設備及存儲介質

有效

• 申請號: 202110651333.0
• 申請日: 2021-06-11
• 公開（公告）號: CN113112007B
• 公開（公告）日: 2021-10-15
• 發明（設計）人: 任杰
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 深圳市世聯合知識產權代理有限公司 44385
• 代理人: 汪琳琳

1.一種神經網絡中序列長度選擇方法，其特征在于，所述方法包括：

獲取樣本文章；

基于指定的任意序列長度的序列參數，通過時序模型對所述樣本文章中段落進行段落切分預測，得到樣本字詞預測結果；

根據所述樣本文章中的段落文本和所述樣本字詞預測結果，計算所述時序模型的預測概率值,所述時序模型為LSTM模型；

計算所述序列參數在序列樣本集合中的出現概率值，所述出現概率值表示為：

其中，所述表示所述序列樣本集合中全部序列對的計數值；所述10表示在不同遞歸神經網絡模型設計下可以選擇的可能值的數量；所述n 表示所述序列長度的總數；

基于所述預測概率值和所述出現概率值，通過梯度下降法選擇所述序列參數的序列長度，輸出序列長度選擇結果；

所述基于指定的任意序列長度的序列參數，通過時序模型對所述樣本文章中段落進行段落切分預測，得到樣本字詞預測結果，包括：

將所述樣本文章輸入到所述LSTM模型中，基于所述序列參數對所述樣本文章的段落進行切分，得到文本長度與所述序列長度一致的段落文本；并

對與所述段落文本相鄰，且在所述段落文本之后的至少一個字詞進行預測，得到樣本字詞預測結果；

所述基于所述預測概率值和所述出現概率值，通過梯度下降法選擇所述序列參數的序列長度，輸出序列長度選擇結果，包括：

構造損失函數，其中，不脫所述損失函數的損失值滿足的關系式包括所述預測概率值與所述出現概率值的乘積的條件；

基于所述預測概率值和所述出現概率值，通過梯度下降法計算損失函數的損失值；

根據所述損失值更新指定的所述序列長度，重復段落切分預測的操作，直到所述損失函數的損失值小于預設值，確定當前序列參數的序列長度，作為所述序列長度選擇結果。

2.根據權利要求1所述的方法，其特征在于，所述根據所述樣本文章中的段落文本和所述樣本字詞預測結果，計算所述時序模型的預測概率值，包括

對所述樣本字詞預測結果中的預測字詞進行編碼處理；并

從相似度算法集中任選至少2種相似度算法，基于選擇的各所述相似度算法計算編碼處理后的預測字詞與所述樣本文章中實際字詞的文本相似度；

基于權重調整算法調整各所述文本相似度，得到作為預測概率值。

3.根據權利要求2所述的方法，其特征在于，所述從相似度算法集中任選至少2種相似度算法，基于選擇的各所述相似度算法計算編碼處理后的預測字詞與所述樣本文章中實際字詞的文本相似度，包括：

從所述相似度算法集中隨機選擇預先相似度和馬氏距離算法，計算得到編碼處理后的預測字詞與所述樣本文章中實際字詞的文本相似度。

4.根據權利要求3所述的方法，其特征在于，所述構造損失函數，包括：

所述損失函數的損失值所滿足的關系式包括所述預測概率值與所述出現概率值的乘積。