[發(fā)明專利]網(wǎng)絡(luò)模型訓(xùn)練方法、裝置、計(jì)算機(jī)設(shè)備及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 201911058644.5
• 申請日: 2019-11-01
• 公開（公告）號: CN110837858B
• 公開（公告）日: 2023-08-04
• 發(fā)明（設(shè)計(jì)）人: 黃盈;周大軍
• 申請（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/82;G06N3/08
• 代理公司: 北京三高永信知識產(chǎn)權(quán)代理有限責(zé)任公司 11138
• 代理人: 邢惠童

1.一種網(wǎng)絡(luò)模型訓(xùn)練方法，其特征在于，所述網(wǎng)絡(luò)模型包括特征提取子模型和操作確定子模型，所述操作確定子模型包括特征提取層、拼接層和操作確定層，所述特征提取子模型與所述拼接層連接，所述特征提取層與所述拼接層連接，所述拼接層與和所述操作確定層連接，所述方法包括：

根據(jù)第一樣本數(shù)據(jù)對所述特征提取子模型進(jìn)行訓(xùn)練，所述第一樣本數(shù)據(jù)包括圖像數(shù)據(jù)；

基于已訓(xùn)練完成的所述特征提取子模型，對當(dāng)前的圖像進(jìn)行特征提取，得到所述圖像的第一圖像特征；

基于所述特征提取層，對所述圖像中的目標(biāo)區(qū)域進(jìn)行特征提取，得到所述目標(biāo)區(qū)域的第二圖像特征；

基于所述拼接層，對輸入的圖像特征進(jìn)行拼接處理，得到第三圖像特征，所述輸入的圖像特征根據(jù)所述第一圖像特征和所述第二圖像特征得到；

基于所述操作確定層，對所述第三圖像特征進(jìn)行處理，得到待執(zhí)行的第一操作；

根據(jù)執(zhí)行所述第一操作后得到的操作結(jié)果，對所述操作確定子模型進(jìn)行訓(xùn)練。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述操作確定子模型還包括全連接層，所述全連接層與所述特征提取層和所述拼接層連接；

基于所述全連接層，對所述第二圖像特征進(jìn)行降維處理，得到第四圖像特征，將所述第四圖像特征輸入所述拼接層。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)執(zhí)行所述第一操作后得到的操作結(jié)果，對所述操作確定子模型進(jìn)行訓(xùn)練，包括：

執(zhí)行所述第一操作后，獲取當(dāng)前的狀態(tài)數(shù)據(jù)，所述狀態(tài)數(shù)據(jù)指示執(zhí)行所述第一操作后得到的操作結(jié)果；

基于所述狀態(tài)數(shù)據(jù)和收益函數(shù)，獲取所述狀態(tài)數(shù)據(jù)對應(yīng)的第一收益數(shù)值；

基于目標(biāo)狀態(tài)數(shù)據(jù)和所述收益函數(shù)，獲取目標(biāo)收益數(shù)值，所述目標(biāo)狀態(tài)數(shù)據(jù)指示對所述圖像執(zhí)行操作后得到的目標(biāo)操作結(jié)果；

根據(jù)所述目標(biāo)收益數(shù)值和所述第一收益數(shù)值之間的差異，對所述操作確定子模型進(jìn)行訓(xùn)練。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述根據(jù)所述目標(biāo)收益數(shù)值和所述第一收益數(shù)值之間的差異，對所述操作確定子模型進(jìn)行訓(xùn)練，包括：

根據(jù)所述第一收益數(shù)值、所述目標(biāo)收益數(shù)值和損失函數(shù)，確定所述損失函數(shù)的損失值；

根據(jù)所述損失值，對所述操作確定子模型的模型參數(shù)進(jìn)行調(diào)整，以使所述損失函數(shù)收斂。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

基于所述操作確定子模型，對所述第一圖像特征進(jìn)行處理，得到多個參考操作對應(yīng)的操作分值，所述參考操作對應(yīng)的操作分值用于表示對所述圖像執(zhí)行所述參考操作的概率；

從所述多個參考操作中，隨機(jī)選取一個參考操作，作為所述第一操作。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)第一樣本數(shù)據(jù)對所述特征提取子模型進(jìn)行訓(xùn)練，包括：

獲取樣本圖像以及所述樣本圖像的樣本目標(biāo)信息，所述樣本目標(biāo)信息包括所述樣本圖像中目標(biāo)的類型和位置；

基于所述特征提取子模型，對樣本圖像進(jìn)行特征提取，得到所述樣本圖像的第五圖像特征；

基于已訓(xùn)練完成的目標(biāo)檢測子模型，對所述第五圖像特征進(jìn)行目標(biāo)檢測處理，得到檢測目標(biāo)信息；

基于所述檢測目標(biāo)信息與所述樣本目標(biāo)信息之間的差異，對所述特征提取子模型進(jìn)行訓(xùn)練。

7.根據(jù)權(quán)利要求5所述的方法，其特征在于，在所述操作確定子模型訓(xùn)練完成之后，所述方法還包括：

基于所述網(wǎng)絡(luò)模型，對當(dāng)前的圖像進(jìn)行處理，得到多個參考操作對應(yīng)的操作分值；

基于多個操作分值，從多個參考操作中選取操作分值最大的參考操作，作為目標(biāo)操作；

執(zhí)行所述目標(biāo)操作。