[發明專利]基于質量感知的文本生成方法、設備、存儲介質及裝置

有效

• 申請號: 201911040951.0
• 申請日: 2019-10-29
• 公開（公告）號: CN111061867B
• 公開（公告）日: 2022-10-25
• 發明（設計）人: 鄧黎明;莊伯金;王少軍
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/30;G10L15/26
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 徐進之

1.一種基于質量感知的文本生成方法，其特征在于，所述基于質量感知的文本生成方法包括以下步驟：

獲取待處理語料集，將所述待處理語料集進行多線程處理，通過序列到序列模型生成文本草稿；

根據所述文本草稿通過訓練好的質量感知遮擋語言模型，對所述文本草稿中待替換字的位置進行預測，獲得所述待替換字的目標位置；

通過所述訓練好的質量感知遮擋語言模型，根據所述目標位置的上下文語境信息對所述目標位置的語義進行預測，獲得所述目標位置對應的目標字；

通過所述訓練好的質量感知遮擋語言模型，將所述目標字替換所述待替換字，獲得第一次迭代文本，將所述第一次迭代文本作為新的文本草稿，返回所述根據所述文本草稿通過訓練好的質量感知遮擋語言模型，對所述新的文本草稿中待替換字的位置進行預測，獲得所述待替換字的目標位置的步驟，直至所述文本草稿中所有所述待替換字均被替換，迭代終止，獲得迭代更新后的目標文本。

2.如權利要求1所述的基于質量感知的文本生成方法，其特征在于，所述根據所述文本草稿通過訓練好的質量感知遮擋語言模型，對所述文本草稿中待替換字的位置進行預測，獲得所述待替換字的目標位置之前，所述基于質量感知的文本生成方法還包括：

獲取標準文本，對所述標準文本中的字進行隨機替換，獲得替換文本；

建立待訓練質量感知遮擋語言模型；

根據所述標準文本和所述替換文本對所述待訓練質量感知遮擋語言模型進行訓練，獲得訓練好的質量感知遮擋語言模型。

3.如權利要求2所述的基于質量感知的文本生成方法，其特征在于，所述替換文本包括：第一預設比例的第一替換文本、第二預設比例的第二替換文本和第三預設比例的標準文本；

所述獲取標準文本，對所述標準文本中的字進行隨機替換，獲得替換文本，包括：

通過隨機標記，選取所述標準文本中每句話中的任意一個字隨機替換為另外一個字獲得第一替換文本，并記錄被替換的字的位置標簽，所述第一預設比例為所述第一替換文本占所有替換文本的比例；

通過隨機標記，選取所述標準文本中每句話中的任意兩個字隨機替換為另外兩個字獲得第二替換文本，并記錄被替換的字的位置標簽，所述第二預設比例為所述第二替換文本占所有替換文本的比例；

保持所述標準文本不變，將所述標準文本作為替換文本，并將位置標簽記錄為第一預設值，所述第三預設比例為所述標準文本占所有替換文本的比例。

4.如權利要求3所述的基于質量感知的文本生成方法，其特征在于，所述根據所述標準文本和所述替換文本對所述待訓練質量感知遮擋語言模型進行訓練，獲得訓練好的質量感知遮擋語言模型，包括：

根據所述第一替換文本或所述第二替換文本通過所述待訓練質量感知遮擋語言模型，對所述第一替換文本或所述第二替換文本中待更新字的位置進行預測，獲得待更新字的預測位置；

通過所述待訓練質量感知遮擋語言模型對所述預測位置的字的語義進行預測，獲得所述預測位置對應的預測字；

通過所述待訓練質量感知遮擋語言模型，將所述預測字替換所述待更新字，獲得第一次預測文本，實現一次迭代，將所述第一次預測文本作為新的替換文本，返回所述根據所述第一替換文本或所述第二替換文本通過所述待訓練質量感知遮擋語言模型，對所述第一替換文本或所述第二替換文本中待更新字的位置進行預測，獲得待更新字的預測位置的步驟，直至所述第一替換文本或所述第二替換文本中所有待更新字均被替換，則迭代終止，獲得預測文本，并根據所述標準文本對所述待訓練質量感知遮擋語言模型進行訓練，獲得訓練好的質量感知遮擋語言模型。