[發明專利]文本審核方法、裝置、設備及存儲介質

在審

• 申請號: 202011548444.0
• 申請日: 2020-12-23
• 公開（公告）號: CN112686049A
• 公開（公告）日: 2021-04-20
• 發明（設計）人: 劉建立
• 申請（專利權）人: 平安普惠企業管理有限公司
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06F40/289;G06F40/253;G06N3/04;G06N3/08
• 代理公司: 深圳市力道知識產權代理事務所(普通合伙) 44507
• 代理人: 賀小旺

1.一種文本審核方法，其特征在于，包括：

獲取待審核文本，并將所述待審核文本輸入到文本審核模型中，其中，所述文本審核模型包括預訓練語言模型、長短期記憶網絡和條件隨機場；

基于所述預訓練語言模型，獲取所述待審核文本中各個字詞的字詞語義特征向量信息；

基于所述長短期記憶網絡和各個所述字詞的字詞語義特征向量信息，得到各個所述字詞的的上下文語義特征向量信息；

通過預置全連接層對各個所述字詞的的上下文語義特征向量信進行線性變換，得到各個所述字詞的多個標簽信息；

基于所述條件隨機場對各個所述字詞的多個標簽信息進行關聯學習，獲取所述待審核文本中各個字詞的審核標簽信息；

基于各個所述字詞的審核標簽信息，確定所述待審核文本是否違規。

2.如權利要求1所述的文本審核方法，其特征在于，所述預訓練語言模型包括字典文件和自注意力網絡機制；

所述基于所述預訓練語言模型，獲取所述待審核文本中各個字詞的字詞語義特征向量信息，還包括：

通過所述字典對所述待審核文本對進行字詞切分，得到所述待審核文本中各個字詞；

將各個所述字詞進行特征向量轉換，得到各個所述字詞對應的字詞向量信息；

將各個所述字詞向量信息輸入所述自注意力網絡機制，得到各個所述字詞向量信息的各個語義空間的字詞語義向量信息；

通過所述各個語義空間的字詞語義向量信息，獲取所述自注意力網絡模型輸出的各個所述字詞的字詞語義特征向量信息。

3.如權利要求1所述的文本審核方法，其特征在于，所述長短期記憶網絡包括輸入門、遺忘門和輸出門；

所述基于所述長短期記憶網絡和各個所述字詞的字詞語義特征向量信息，得到各個所述字詞的的上下文語義特征向量信息，包括：

基于所述輸入門和各個所述字詞的字詞語義特征向量信息，得到對應的第一向量信息和第一單元狀態信息；

基于所述遺忘門和各個所述字詞的字詞語義特征向量信息，得到對應的第二向量信息；

通過第一預置單元狀態信息、所述第一向量信息、第一單元狀態信息和所述第二向量信息，得到第二單元狀態信息；

基于所述輸出門、各個所述字詞的字詞語義特征向量信息以及所述第二單元狀態信息，得到各個所述字詞的上下文語義特征向量信息。

4.如權利要求1所述的文本審核方法，其特征在于，所述基于所述條件隨機場對各個所述字詞的多個標簽信息進行關聯學習，獲取所述待審核文本中各個字詞的審核標簽信息，包括：

通過所述條件隨機場中的關聯學習機制，獲取各個所述字詞的各個標簽信息的概率；

基于各個所述標簽信息的概率，確定各個所述字詞的審核標簽信息。

5.如權利要求1所述的文本審核方法，其特征在于，所述基于各個所述字詞的審核標簽信息，確定所述待審核文本是否違規，包括：

統計各個所述字詞的審核標簽信息中的正常標簽，得到對應所述正常標簽的正常值；

將獲取到的所述正常值與預置標簽值進行比對；

若各個所述字詞的正常值大于或等于所述預置標簽值，則確定所述待審核文本不是違規文本；

若各個所述字詞的正常值小于所述預置標簽值，則確定所述待審核文本為違規文本。

6.如權利要求1所述的文本審核方法，其特征在于，所述獲取待審核文本之前，還包括：

對獲取到的文本中的字詞進行字詞粒度標注，并將標注后的所述文本作為待訓練文本；

根據所述待訓練文本訓練預置文本模型，生成對應的文本審核模型。

7.如權利要求6所述的文本審核方法，其特征在于，所述生成對應的文本審核模型之前，包括：

確定所述預置文本模型是否處于收斂狀態；

若確定所述預置文本模型處于收斂狀態，則將所述預置文本模型作為文本審核模型；

若所述預置文本模型未處于收斂狀態，則根據所述待訓練文本繼續訓練所述預置文本模型，以使所述預置文本模型處于收斂狀態。