[發(fā)明專利]智能體強(qiáng)化學(xué)習(xí)方法、裝置、設(shè)備及介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201810849877.6
• 申請(qǐng)日: 2018-07-28
• 公開（公告）號(hào): CN109190720B
• 公開（公告）日: 2021-08-06
• 發(fā)明（設(shè)計(jì)）人: 劉春曉;薛洋;張偉;林倞
• 申請(qǐng)（專利權(quán)）人: 深圳市商湯科技有限公司
• 主分類號(hào): G06K9/66
• 分類號(hào): G06K9/66;G06K9/00;G06N3/04
• 代理公司: 北京思源智匯知識(shí)產(chǎn)權(quán)代理有限公司 11657
• 代理人: 毛麗琴

本申請(qǐng)的實(shí)施方式公開了一種智能體強(qiáng)化學(xué)習(xí)方法、裝置、電子設(shè)備、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)以及計(jì)算機(jī)程序，其中的方法包括：獲取智能體針對(duì)當(dāng)前環(huán)境圖像進(jìn)行決策所依據(jù)的關(guān)鍵視覺(jué)信息；獲取所述當(dāng)前環(huán)境圖像的實(shí)際關(guān)鍵視覺(jué)信息；根據(jù)所述所依據(jù)的關(guān)鍵視覺(jué)信息以及所述實(shí)際關(guān)鍵視覺(jué)信息，確定注意力變化回報(bào)信息；根據(jù)所述注意力變化回報(bào)信息調(diào)整智能體強(qiáng)化學(xué)習(xí)的回報(bào)反饋。

技術(shù)領(lǐng)域

本申請(qǐng)涉及計(jì)算機(jī)視覺(jué)技術(shù)，尤其是涉及一種智能體強(qiáng)化學(xué)習(xí)方法、智能體強(qiáng)化學(xué)習(xí)裝置、電子設(shè)備、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)以及計(jì)算機(jī)程序。

背景技術(shù)

在游戲以及機(jī)器人等諸多技術(shù)領(lǐng)域，通常會(huì)使用到智能體，例如，游戲中的接檔下落小球的移動(dòng)板或者機(jī)器臂等。智能體在強(qiáng)化學(xué)習(xí)過(guò)程中，通常是利用在環(huán)境中試錯(cuò)得到的獎(jiǎng)賞信息，來(lái)指導(dǎo)學(xué)習(xí)的。

如何提高強(qiáng)化學(xué)習(xí)后的智能體的行為安全性，是強(qiáng)化學(xué)習(xí)中的一個(gè)重要的技術(shù)問(wèn)題。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施方式提供一種智能體強(qiáng)化學(xué)習(xí)的技術(shù)方案。

根據(jù)本申請(qǐng)實(shí)施方式其中一方面，提供一種智能體強(qiáng)化學(xué)習(xí)方法，所述方法包括：獲取智能體針對(duì)當(dāng)前環(huán)境圖像進(jìn)行決策所依據(jù)的關(guān)鍵視覺(jué)信息；獲取所述當(dāng)前環(huán)境圖像的實(shí)際關(guān)鍵視覺(jué)信息；根據(jù)所述所依據(jù)的關(guān)鍵視覺(jué)信息以及所述實(shí)際關(guān)鍵視覺(jué)信息，確定注意力變化回報(bào)信息；根據(jù)所述注意力變化回報(bào)信息調(diào)整智能體強(qiáng)化學(xué)習(xí)的回報(bào)反饋。

在本申請(qǐng)一實(shí)施方式中，所述所依據(jù)的關(guān)鍵視覺(jué)信息包括：智能體在做出決策時(shí)，針對(duì)當(dāng)前環(huán)境圖像的注意力區(qū)域。

在本申請(qǐng)又一實(shí)施方式中，所述獲取智能體針對(duì)當(dāng)前環(huán)境圖像進(jìn)行決策所依據(jù)的關(guān)鍵視覺(jué)信息包括：獲取智能體針對(duì)當(dāng)前環(huán)境圖像的價(jià)值注意力圖；對(duì)所述價(jià)值注意力圖和所述當(dāng)前環(huán)境圖像進(jìn)行合成處理，獲得熱力圖；根據(jù)所述熱力圖確定所述智能體針對(duì)當(dāng)前環(huán)境圖像的注意力區(qū)域。

在本申請(qǐng)?jiān)僖粚?shí)施方式中，所述獲取智能體針對(duì)當(dāng)前環(huán)境圖像的價(jià)值注意力圖包括：獲取當(dāng)前環(huán)境圖像的特征圖；根據(jù)所述特征圖獲得依次屏蔽所述特征圖各通道而形成的各改變特征圖；獲取所述各改變特征圖分別相對(duì)于所述特征圖的狀態(tài)價(jià)值改變量；根據(jù)各狀態(tài)價(jià)值改變量以及各改變特征圖形成所述價(jià)值注意力圖。

在本申請(qǐng)?jiān)僖粚?shí)施方式中，所述獲取當(dāng)前環(huán)境圖像的特征圖包括：將所述當(dāng)前環(huán)境圖像輸入卷積神經(jīng)網(wǎng)絡(luò)，并獲取卷積神經(jīng)網(wǎng)絡(luò)的最后一層卷積層輸出的特征圖。

在本申請(qǐng)?jiān)僖粚?shí)施方式中，所述獲取所述各改變特征圖分別相對(duì)于所述特征圖的狀態(tài)價(jià)值改變量包括：將各改變特征圖輸入智能體的價(jià)值網(wǎng)絡(luò)，以獲得各改變特征圖的狀態(tài)價(jià)值；計(jì)算所述價(jià)值網(wǎng)絡(luò)針對(duì)所述特征圖輸出的狀態(tài)價(jià)值，分別與所述各改變特征圖的狀態(tài)價(jià)值的差值，以獲得各改變特征圖分別相對(duì)于所述特征圖的狀態(tài)價(jià)值改變量。

在本申請(qǐng)?jiān)僖粚?shí)施方式中，所述當(dāng)前環(huán)境圖像的實(shí)際關(guān)鍵視覺(jué)信息包括：當(dāng)前環(huán)境圖像中的目標(biāo)對(duì)象所在區(qū)域。

在本申請(qǐng)?jiān)僖粚?shí)施方式中，所述根據(jù)所述所依據(jù)的關(guān)鍵視覺(jué)信息以及所述實(shí)際關(guān)鍵視覺(jué)信息，確定注意力變化回報(bào)信息包括：根據(jù)智能體在做出決策時(shí)，針對(duì)當(dāng)前環(huán)境圖像的注意力區(qū)域，與所述目標(biāo)對(duì)象所在區(qū)域的交集與目標(biāo)對(duì)象所在區(qū)域的比值，確定注意力變化回報(bào)信息。

在本申請(qǐng)?jiān)僖粚?shí)施方式中，所述智能體強(qiáng)化學(xué)習(xí)的回報(bào)反饋包括：注意力變化回報(bào)信息以及智能體針對(duì)當(dāng)前環(huán)境圖像進(jìn)行決策所形成的回報(bào)信息。

在本申請(qǐng)?jiān)僖粚?shí)施方式中，所述方法還包括：根據(jù)所述所依據(jù)的關(guān)鍵視覺(jué)信息，確定環(huán)境探索周期內(nèi)的探索程度；在判斷出所述探索程度不符合預(yù)定探索程度的情況下，利用存儲(chǔ)的歷史訓(xùn)練數(shù)據(jù)進(jìn)行經(jīng)驗(yàn)回放；所述歷史訓(xùn)練數(shù)據(jù)包括：利用預(yù)設(shè)要求對(duì)采樣的強(qiáng)化學(xué)習(xí)訓(xùn)練數(shù)據(jù)進(jìn)行篩選，而獲得的訓(xùn)練數(shù)據(jù)。