[發明專利]智能體強化學習方法、裝置、設備及介質

有效

• 申請號: 201810849877.6
• 申請日: 2018-07-28
• 公開（公告）號: CN109190720B
• 公開（公告）日: 2021-08-06
• 發明（設計）人: 劉春曉;薛洋;張偉;林倞
• 申請（專利權）人: 深圳市商湯科技有限公司
• 主分類號: G06K9/66
• 分類號: G06K9/66;G06K9/00;G06N3/04
• 代理公司: 北京思源智匯知識產權代理有限公司 11657
• 代理人: 毛麗琴

1.一種智能體強化學習方法，其特征在于，包括：

獲取智能體針對當前環境圖像進行決策所依據的關鍵視覺信息，其中，所述所依據的關鍵視覺信息使用價值注意力圖體現；所述價值注意力圖是指：所述智能體的價值網絡在做出狀態價值判斷時，所依據的關鍵視覺信息；

獲取所述當前環境圖像的實際關鍵視覺信息；

根據所述所依據的關鍵視覺信息以及所述實際關鍵視覺信息，確定注意力變化回報信息；

根據所述注意力變化回報信息調整智能體強化學習的回報反饋；

其中，所述根據所述注意力變化回報信息調整智能體強化學習的回報反饋包括：將所述注意力變化回報信息添加在所述回報反饋中。

2.根據權利要求1所述的方法，其特征在于，所述所依據的關鍵視覺信息包括：智能體在做出決策時，針對當前環境圖像的注意力區域。

3.根據權利要求2所述的方法，其特征在于，所述獲取智能體針對當前環境圖像進行決策所依據的關鍵視覺信息包括：

獲取智能體針對當前環境圖像的價值注意力圖；

對所述價值注意力圖和所述當前環境圖像進行合成處理，獲得熱力圖；

根據所述熱力圖確定所述智能體針對當前環境圖像的注意力區域。

4.根據權利要求3所述的方法，其特征在于，所述獲取智能體針對當前環境圖像的價值注意力圖包括：

獲取當前環境圖像的特征圖；

根據所述特征圖獲得依次屏蔽所述特征圖各通道而形成的各改變特征圖；

獲取所述各改變特征圖分別相對于所述特征圖的狀態價值改變量；

根據各狀態價值改變量以及各改變特征圖形成所述價值注意力圖。

5.根據權利要求4所述的方法，其特征在于，所述獲取當前環境圖像的特征圖包括：

將所述當前環境圖像輸入卷積神經網絡，并獲取卷積神經網絡的最后一層卷積層輸出的特征圖。

6.根據權利要求4所述的方法，其特征在于，所述獲取所述各改變特征圖分別相對于所述特征圖的狀態價值改變量包括：

將各改變特征圖輸入智能體的價值網絡，以獲得各改變特征圖的狀態價值；

計算所述價值網絡針對所述特征圖輸出的狀態價值，分別與所述各改變特征圖的狀態價值的差值，以獲得各改變特征圖分別相對于所述特征圖的狀態價值改變量。

7.根據權利要求1至6中任一項所述的方法，其特征在于，所述當前環境圖像的實際關鍵視覺信息包括：當前環境圖像中的目標對象所在區域。

8.根據權利要求7所述的方法，其特征在于，所述根據所述所依據的關鍵視覺信息以及所述實際關鍵視覺信息，確定注意力變化回報信息包括：

根據智能體在做出決策時，針對當前環境圖像的注意力區域，與所述目標對象所在區域的交集與目標對象所在區域的比值，確定注意力變化回報信息。

9.根據權利要求1至6中任一項所述的方法，其特征在于，所述智能體強化學習的回報反饋包括：注意力變化回報信息以及智能體針對當前環境圖像進行決策所形成的回報信息。

10.根據權利要求1至6中任一項所述的方法，其特征在于，所述方法還包括：

根據所述所依據的關鍵視覺信息，確定環境探索周期內的探索程度；

在判斷出所述探索程度不符合預定探索程度的情況下，利用存儲的歷史訓練數據進行經驗回放；

所述歷史訓練數據包括：利用預設要求對采樣的強化學習訓練數據進行篩選，而獲得的訓練數據。

11.根據權利要求10所述的方法，其特征在于，所述根據所述所依據的關鍵視覺信息，確定環境探索周期內的探索程度包括：

根據智能體針對環境探索周期內的多個相鄰時刻的當前環境圖像的價值注意力圖之間的變化信息，確定該環境探索周期內的注意力改變量；

其中，所述注意力改變量用于衡量所述環境探索周期內的探索程度。