[發明專利]基于物理環境博弈的自主進化智能對話方法、系統、裝置

有效

• 申請號: 201910014369.0
• 申請日: 2019-01-08
• 公開（公告）號: CN109800294B
• 公開（公告）日: 2020-10-13
• 發明（設計）人: 許家銘;姚軼群;徐波
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京市恒有知識產權代理事務所(普通合伙) 11576
• 代理人: 郭文浩;唐敏

1.一種基于物理環境博弈的自主進化智能對話方法，其特征在于，包括：

步驟S10，獲取待處理圖像及對應問題文本；

步驟S20，采用優化的對話模型生成所述待處理圖像和對應問題文本的應答文本；

步驟S30，輸出應答文本；

其中，所述對話模型包括圖片編碼模型、文本編碼模型、狀態編碼模型、解碼器；

所述圖片編碼模型基于預訓練的卷積神經網絡構建；

所述文本編碼模型、狀態編碼模型、解碼器為基于循環神經網絡的語言模型；

所述文本編碼模型包括問句編碼器、事實編碼器；

所述優化的對話模型，其優化過程還需引入判別器，對話模型與判別器交替優化直至對話模型的混合損失函數和判別器的損失函數值不再下降或低于預設值，其步驟為：

步驟M10，獲取代表物理環境的圖片集及所述圖片集對應的對話文本，作為第一圖片集和第一對話文本集；所述第一對話文本集包括第一問題文本集、第一應答文本集；

步驟M20，采用圖片編碼模型對所述第一圖片集中每一個圖片分別進行編碼，生成第一圖片向量，獲得第一圖片向量集；

步驟M30，融入第一圖片向量集，利用問句編碼器、事實編碼器和狀態編碼模型將所述第一對話文本集中對話文本的所有輪次的對話編碼為對應輪次的狀態向量，得到第一狀態向量集；

步驟M40，通過解碼器將所述第一狀態向量集生成對應輪次的應答語句，獲得第二應答文本集；通過單層感知映射函數將所述第一狀態向量集生成第二圖片向量集；

步驟M50，通過判別器對第二圖片向量集中所有圖片向量屬于物理環境向量的概率進行計算，利用所述概率以及第一應答文本集，優化對話模型，得到第一優化對話模型；

步驟M60，對第一圖片向量集和第二圖片向量集進行采樣，生成對抗訓練樣本池，對判別器進行優化，得到第一優化判別器。

2.根據權利要求1所述的基于物理環境博弈的自主進化智能對話方法，其特征在于，所述圖片編碼模型的構建，還設置有預訓練步驟，其步驟為：

步驟T10，選取包含物理環境的圖片集，作為預訓練圖片集；

步驟T20，采用卷積神經網絡模型，以所述預訓練圖片集中每一張圖片的物體類別為標簽進行預訓練，預訓練所得的卷積神經網絡為圖片編碼模型。

3.根據權利要求1所述的基于物理環境博弈的自主進化智能對話方法，其特征在于，所述第一圖片向量為：

I＝CNN_pre(Img)

其中，I為第一圖片向量，CNN_pre為圖片編碼模型，Img為圖片集中每一個圖片。

4.根據權利要求1或3所述的基于物理環境博弈的自主進化智能對話方法，其特征在于，步驟M20中“采用圖片編碼模型對所述第一圖片集中每一個圖片分別進行編碼，生成第一圖片向量”，其方法為：

將所述第一圖片集的每一張圖片分別輸入圖片編碼模型，輸出對應圖片最后一層的全連接層向量，所述向量編碼了所述輸入圖片的各個層級的信息，獲得第一圖片向量集。

5.根據權利要求1所述的基于物理環境博弈的自主進化智能對話方法，其特征在于，步驟M30中“融入第一圖片向量集，利用問句編碼器、事實編碼器和狀態編碼模型將所述第一對話文本集中對話文本的所有輪次的對話編碼為對應輪次的狀態向量”，其步驟為：

步驟M31，通過詞映射的方法，將所有輪次對話文本中每個詞編碼為詞向量，獲得詞向量集；

步驟M32，在t輪對話文本中，基于所述詞向量集，使用問句編碼器將問題文本編碼成為問句向量；使用事實編碼器將問題文本和應答文本聯合編碼成為事實向量；使用狀態編碼模型將所述問句向量、事實向量、所述事實向量對應的第一圖片向量和t-1輪的狀態向量融合編碼為第t輪狀態向量；1≤t≤T，T為對話總輪次數；

步驟M33，將通過步驟M32得到的各輪狀態向量構建為第二狀態向量集。