[發明專利]任務型對話及模型訓練方法、裝置、設備和存儲介質

在審

• 申請號: 202011505708.4
• 申請日: 2020-12-18
• 公開（公告）號: CN112507103A
• 公開（公告）日: 2021-03-16
• 發明（設計）人: 鮑思琪;何煌;陸華;王凡;牛正雨;吳華;何徑舟
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/33;G06K9/62;G06N20/20
• 代理公司: 北京鴻德海業知識產權代理有限公司 11412
• 代理人: 谷春靜

1.一種任務型對話方法，包括：

接收信息；

采用知識選擇模型，選擇與所述信息匹配的知識，所述知識選擇模型采用結構化知識和非結構化知識預訓練得到，所述結構化知識的槽位包括自然語言描述信息；

根據所述信息和所述知識生成回復。

2.根據權利要求1所述的方法，其中，所述根據所述信息和所述知識生成回復，包括：

采用預訓練的回復生成模型，根據所述信息和所述知識生成回復，所述回復生成模型包括輸入層，所述輸入層包括類型向量層，所述類型向量層的輸入包括互不相同的信息類型標識、知識類型標識和回復類型標識。

3.根據權利要求2所述的方法，其中，所述回復生成模型還包括：

與所述輸入層連接的Transformer網絡。

4.根據權利要求3所述的方法，其中，所述Transformer網絡包括：

自注意力層，所述自注意力層包括第一部分和第二部分，所述第一部分是所述信息和所述知識對應的部分，所述第二部分是所述回復對應的部分，所述第一部分采用雙向自注意力機制，所述第二部分采用單向自注意力機制。

5.根據權利要求1所述的方法，其中，所述知識選擇模型包括Transformer網絡。

6.一種知識選擇模型的訓練方法，包括：

獲取訓練語料，所述訓練語料包括訓練信息、訓練非結構化知識和訓練結構化知識，所述訓練結構化知識的槽位包括自然語言描述信息；

對所述訓練語料進行標注；

采用標注后的訓練語料進行訓練，生成知識選擇模型。

7.根據權利要求6所述的方法，其中，所述對所述訓練語料進行標注，包括：

對應訓練信息標注第一正樣本和第一負樣本，所述第一正樣本為訓練結構化知識中的正樣本，所述第一負樣本為訓練結構化知識中的負樣本，所述第一正樣本包括：所述訓練信息對應槽位的自然語言描述信息所屬的訓練結構化知識；所述第一負樣本包括：非所述訓練信息對應槽位的自然語言描述信息所屬的訓練結構化知識、同領域或不同領域的訓練非結構化知識；

對應所述訓練信息標注第二正樣本和第二負樣本，所述第二正樣本為訓練非結構化知識中的正樣本，所述第二負樣本為訓練非結構化知識中的負樣本，所述第二正樣本包括：與所述訓練信息對應的訓練非結構化知識；所述第二負樣本包括：非與所述訓練信息對應的訓練非結構化知識；同領域或不同領域的槽位包括自然語言描述信息的訓練結構化知識。

8.根據權利要求6所述的方法，其中，所述采用標注后的訓練語料進行訓練，生成知識選擇模型，包括：

基于Transformer網絡，采用標注后的訓練語料進行訓練，生成知識選擇模型。

9.一種回復生成模型的訓練方法，包括：

獲取訓練語料，所述訓練語料包括訓練信息、訓練知識和訓練回復；

采用輸入層將所述訓練語料轉換為輸入向量，所述輸入層包括類型向量層，所述類型向量層的輸入包括互不相同的信息類型標識、知識類型標識和回復類型標識；

采用深度學習網絡對所述輸入向量和所述訓練回復對應的輸出向量進行訓練，生成回復生成模型。

10.根據權利要求9所述的方法，其中，所述深度學習網絡包括：

Transformer網絡。

11.根據權利要求10所述的方法，其中，所述Transformer網絡包括：

自注意力層，所述自注意力層包括第一部分和第二部分，所述第一部分是所述訓練信息和所述訓練知識對應的部分，所述第二部分是所述訓練回復對應的部分，所述第一部分采用雙向自注意力機制，所述第二部分采用單向自注意力機制。