[發(fā)明專利]一種文本解釋生成方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202010749583.3
• 申請日: 2020-07-30
• 公開（公告）號: CN111914530A
• 公開（公告）日: 2020-11-10
• 發(fā)明（設(shè)計）人: 王欣芝;彭艷;駱祥峰;劉楊;羅均;謝少榮;張丹
• 申請（專利權(quán)）人: 上海大學
• 主分類號: G06F40/20
• 分類號: G06F40/20;G06N3/08
• 代理公司: 北京高沃律師事務(wù)所 11569
• 代理人: 王立普

1.一種文本解釋生成方法，其特征在于，包括：

獲取實際場景圖片以及場景中的非可控智能體；所述非可控智能體為強化學習模型不能控制的對象；

根據(jù)非可控智能體對可控智能體的影響程度確定非可控智能體的優(yōu)先級；所述可控智能體為所述強化學習模型能夠控制的對象；

在關(guān)注區(qū)域內(nèi)選取按優(yōu)先級由高到低順序排列的前N類非可控智能體，并對所述前N類非可控智能體采用語言模板生成文本解釋；

判斷生成的文本解釋是否正確；若正確則返回步驟“獲取實際場景圖片以及場景中的非可控智能體”，否則，提取所述實際場景圖片中的特征信息，并對所述特征信息采用訓(xùn)練好的GRU模型進行文本解釋。

2.根據(jù)權(quán)利要求1所述的文本解釋生成方法，其特征在于，所述根據(jù)非可控智能體對可控智能體的影響程度確定非可控智能體的優(yōu)先級，具體包括：

獲取強化學習模型在場景中選擇的行為；

根據(jù)所述行為計算非可控智能體的平均得分以及遮擋一類非可控智能體后的得分；

將所述遮擋一類非可控智能體后的得分與所述平均得分的差值確定為遮擋的這類非可控智能體的重要程度；

將各類非可控智能體的重要程度按由大到小順序排列，得到非可控智能體由高到低的優(yōu)先級。

3.根據(jù)權(quán)利要求2所述的文本解釋生成方法，其特征在于，所述對所述前N類非可控智能體采用語言模板生成文本解釋，具體包括：

確定非可控智能體與可控智能體的相對位置；

根據(jù)所述相對位置和可控智能體相對于非可控智能體的行為，按照非可控智能體的優(yōu)先級的順序采用語言模板分別對所述前N類非可控智能體進行文本解釋。

4.根據(jù)權(quán)利要求3所述的文本解釋生成方法，其特征在于，所述提取所述實際場景圖片中的特征信息，并對所述特征信息采用訓(xùn)練好的GRU模型進行文本解釋，具體包括：

獲取實際可控智能體圖片和實際顯著性圖片；所述實際顯著性圖片為包括可控智能體和前N類非可控智能體的圖片；

分別對所述實際場景圖片、所述實際可控智能體圖片和所述實際顯著性圖片進行編碼，得到實際場景特征信息、實際可控智能體特征和實際顯著性圖像特征；

將所述實際場景特征信息、所述實際可控智能體特征和所述實際顯著性圖像特征輸入訓(xùn)練好的GRU模型，生成文本解釋。

5.根據(jù)權(quán)利要求4所述的文本解釋生成方法，其特征在于，所述訓(xùn)練好的GRU模型，具體訓(xùn)練過程包括：

獲取文本解釋中的詞匯表；所述詞匯表中包括多個詞匯；

采用卷積法提取所述詞匯的潛在特征；

根據(jù)所述詞匯的潛在特征和GRU模型的隱藏層參數(shù)確定分布在訓(xùn)練場景特征信息、訓(xùn)練可控智能體特征和訓(xùn)練顯著性圖像特征的注意力；所述訓(xùn)練場景特征信息、所述訓(xùn)練可控智能體特征和所述訓(xùn)練顯著性圖像特征通過對訓(xùn)練場景圖片、訓(xùn)練可控智能體圖片和訓(xùn)練顯著性圖片進行編碼得到；

根據(jù)所述注意力、所述詞匯的潛在特征、所述訓(xùn)練場景特征信息、所述訓(xùn)練可控智能體特征和所述訓(xùn)練顯著性圖像特征確定GRU模型的輸入門；

根據(jù)GRU模型的輸入門和GRU模型的隱藏層參數(shù)分別確定GRU模型的重置門和GRU模型的更新門；

根據(jù)所述輸入門、所述重置門、所述更新門和所述GRU模型的隱藏層參數(shù)確定GRU模型的輸出門；

根據(jù)所述輸出門確定輸出的文本描述信息；

根據(jù)所述輸出的文本描述信息采用公式確定損失函數(shù)；其中，l表示損失函數(shù)，N表示詞匯表中詞匯的數(shù)量，t表示詞匯索引，D_v表示詞匯維度，v_ti表示選取詞匯的標記中第i個元素，y_ti表示輸出的文本描述信息中第i個元素；

以最小化所述損失函數(shù)為目標對GRU模型中的參數(shù)進行優(yōu)化，得到訓(xùn)練好的GRU模型。