[發明專利]基于人工智能的用于生成文本的方法和裝置

有效

• 申請號: 201710787262.0
• 申請日: 2017-09-04
• 公開（公告）號: CN107526725B
• 公開（公告）日: 2021-08-24
• 發明（設計）人: 劉毅
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F40/216
• 分類號: G06F40/216;G06F40/289;G06F40/30
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

1.一種基于人工智能的用于生成文本的方法，其特征在于，所述方法包括：

獲取待擴展文本；

切分所述待擴展文本，得到所述待擴展文本的詞序列；

根據預先存儲的詞與標識信息的對應關系，確定與所述詞序列對應的標識信息序列；

將所確定的標識信息序列輸入預先訓練的文本擴展模型，生成擴展后的文本的標識信息序列，其中，所述文本擴展模型用于表征待擴展文本的標識信息序列與擴展后的文本的標識信息序列之間的對應關系；

根據所生成的標識信息序列和所述詞與標識信息的對應關系，生成擴展后的文本；

其中，所述文本擴展模型是經由以下步驟訓練的：

將搜索引擎的點擊日志中，與同一個點擊鏈接對應的查詢語句兩兩組成樣本組；切分各個樣本組包括的查詢語句，得到切分出的各個詞；從所述切分出的各個詞中按照出現次數由大到小的順序選擇預設數目個詞；為所選擇的各個詞分配標識信息，并存儲詞與標識信息的對應關系；根據所述詞與標識信息的對應關系，確定與每個樣本組包括的查詢語句對應的標識信息序列；將與每個樣本組包括的兩個查詢語句對應的標識信息序列，分別作為輸入與輸出，訓練得到所述文本擴展模型；

所述文本擴展模型包括編碼模型和解碼模型，所述編碼模型用于表征標識信息序列與編碼信息序列之間的對應關系，所述解碼模型用于表征預先設置的起始詞的標識信息、編碼信息序列二者與標識信息序列之間的對應關系；

所述將所確定的標識信息序列輸入預先訓練的文本擴展模型，生成擴展后的文本的標識信息序列，包括：

將所確定的標識信息序列中的各個標識信息正序輸入用于編碼的正向傳播循環神經網絡，生成第一參考編碼信息序列；將所確定的標識信息序列中的各個標識信息倒序輸入用于編碼的反向傳播循環神經網絡，生成第二參考編碼信息序列；根據第一參考編碼信息序列和第二參考編碼信息序列，生成待擴展文本序列的編碼信息序列；基于用于解碼的循環神經網絡和所生成的編碼信息序列，預測起始詞的備選后續詞序列的標識信息序列；根據所預測的每個標識信息序列包括的標識信息出現的概率，計算該標識信息序列出現的概率；從所預測的各個標識信息序列中按照出現的概率由大到小的順序選擇預定數目個標識信息序列，作為擴展后的文本的標識信息序列。

2.根據權利要求1所述的方法，其特征在于，所述將所確定的標識信息序列輸入預先訓練的文本擴展模型，生成擴展后的文本的標識信息序列，包括：

將所確定的標識信息序列輸入所述編碼模型，生成所述待擴展文本的編碼信息序列；

將所生成的編碼信息序列和所述起始詞的標識信息輸入所述解碼模型，生成擴展后的文本的標識信息序列。

3.根據權利要求2所述的方法，其特征在于，所述將所確定的標識信息序列輸入所述編碼模型，生成所述待擴展文本的編碼信息序列，包括：

將所確定的標識信息序列中的各個標識信息正序輸入用于編碼的正向傳播循環神經網絡，生成第一參考編碼信息序列；

將所確定的標識信息序列中的各個標識信息倒序輸入用于編碼的反向傳播循環神經網絡，生成第二參考編碼信息序列；

根據所述第一參考編碼信息序列和所述第二參考編碼信息序列，生成所述待擴展文本序列的編碼信息序列。

4.根據權利要求2所述的方法，其特征在于，所述將所生成的編碼信息序列和所述起始詞的標識信息輸入所述解碼模型，生成擴展后的文本的標識信息序列，包括：

基于用于解碼的循環神經網絡和所生成的編碼信息序列，預測所述起始詞的備選后續詞序列的標識信息序列；

根據所預測的每個標識信息序列包括的標識信息出現的概率，計算該標識信息序列出現的概率；

從所預測的各個標識信息序列中按照出現的概率由大到小的順序選擇預定數目個標識信息序列，作為擴展后的文本的標識信息序列。

5.根據權利要求4所述的方法，其特征在于，所述基于用于解碼的循環神經網絡和所生成的編碼信息序列，預測所述起始詞的備選后續詞序列的標識信息序列，包括：

根據注意力模型確定每次預測時所生成的編碼信息序列的權重；

根據所述權重對所生成的編碼信息序列進行加權；

基于用于解碼的循環神經網絡和加權后的編碼信息序列，預測所述起始詞的備選后續詞序列的標識信息序列。