[發(fā)明專利]一種操作識別方法、裝置及存儲介質(zhì)和服務(wù)器

有效

• 申請?zhí)枺?/td>: 202010971618.8
• 申請日: 2020-09-16
• 公開（公告）號: CN111833115B
• 公開（公告）日: 2020-12-11
• 發(fā)明（設(shè)計）人: 程權(quán)
• 申請（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號: G06Q30/02
• 分類號: G06Q30/02;G06F11/34;G06N3/04;G06N3/08
• 代理公司: 深圳翼盛智成知識產(chǎn)權(quán)事務(wù)所(普通合伙) 44300
• 代理人: 李漢亮

1.一種操作識別方法，其特征在于，包括：

獲取特定頁面中第一位置的用戶操作信息；所述用戶操作信息中包括所述第一位置的位置信息；

當(dāng)根據(jù)所述第一位置的位置信息確定所述第一位置在第一區(qū)域內(nèi)且不屬于特定操作觸發(fā)控件的位置時，確定對所述第一位置的用戶操作為對所述特定頁面中特定操作觸發(fā)控件的誤操作，其中，所述第一區(qū)域是根據(jù)所述特定頁面的歷史操作信息確定的；

根據(jù)所述特定頁面的歷史操作信息確定所述第一區(qū)域包括：

獲取所述特定頁面的歷史操作信息，所述歷史操作信息包括在預(yù)定時間段內(nèi)在特定頁面的用戶操作對應(yīng)的位置信息；

根據(jù)所述歷史操作信息生成所述特定頁面的操作熱力圖；

對所述操作熱力圖進(jìn)行圖像檢測，確定第一區(qū)域，所述第一區(qū)域包括對所述特定頁面中特定操作觸發(fā)控件誤操作的區(qū)域，所述誤操作的區(qū)域?yàn)樗鎏囟ú僮饔|發(fā)控件周邊的區(qū)域。

2.如權(quán)利要求1所述的方法，其特征在于，所述獲取特定頁面的歷史操作信息，具體包括：

獲取所述特定頁面中除特定操作觸發(fā)控件之外的位置的用戶操作信息。

3.如權(quán)利要求1所述的方法，其特征在于，所述歷史操作信息包括在所述特定頁面操作的多個位置的位置信息，則所述根據(jù)所述歷史操作信息生成所述特定頁面的操作熱力圖，具體包括：

創(chuàng)建新圖片，根據(jù)所述多個位置的位置信息在所述新圖片的相應(yīng)位置繪制標(biāo)記信息，形成操作熱力圖。

4.如權(quán)利要求3所述的方法，其特征在于，所述根據(jù)所述多個位置的位置信息在所述新圖片的相應(yīng)位置繪制標(biāo)記信息，具體包括：

對所述多個位置的位置信息進(jìn)行過濾，得到過濾后位置的位置信息；

根據(jù)所述過濾后位置的位置信息，在所述新圖片的相應(yīng)位置繪制標(biāo)記信息。

5.如權(quán)利要求1所述的方法，其特征在于，所述對所述操作熱力圖進(jìn)行圖像檢測，確定第一區(qū)域，具體包括：

確定對所述特定頁面中特定操作觸發(fā)控件誤操作和非誤操作的位置關(guān)系在所述操作熱力圖中顯示的圖像特征；

檢測所述操作熱力圖中與所述圖像特征一致的子圖像對應(yīng)區(qū)域，將所述子圖像對應(yīng)區(qū)域的信息作為所述第一區(qū)域的區(qū)域信息。

6.如權(quán)利要求1所述的方法，其特征在于，所述對所述操作熱力圖進(jìn)行圖像檢測，確定第一區(qū)域，具體包括：

根據(jù)預(yù)置的圖像檢測模型對所述操作熱力圖進(jìn)行檢測，輸出所述第一區(qū)域的區(qū)域信息。

7.如權(quán)利要求6所述的方法，其特征在于，所述方法還包括：

確定圖像檢測初始模型；

確定訓(xùn)練樣本，所述訓(xùn)練樣本中包括多個樣本圖像及各個樣本圖像中的標(biāo)注信息，所述各個樣本圖像是任一特定頁面對應(yīng)的操作熱力圖，所述標(biāo)注信息為第一樣本區(qū)域的標(biāo)注信息，所述第一樣本區(qū)域包括對特定操作觸發(fā)控件誤操作的區(qū)域；

通過所述圖像檢測初始模型對所述各個樣本圖像進(jìn)行檢測，得到所述各個樣本圖像中的第一區(qū)域的檢測結(jié)果，所述第一區(qū)域包括對特定操作觸發(fā)控件誤操作的區(qū)域；

根據(jù)所述圖像檢測初始模型得到的檢測結(jié)果和所述訓(xùn)練樣本中的標(biāo)注信息，調(diào)整圖像檢測初始模型，以得到最終的圖像檢測模型為所述預(yù)置的圖像檢測模型。

8.如權(quán)利要求7所述的方法，其特征在于，所述確定圖像檢測初始模型具體包括：

所述圖像檢測初始模型包括：殘差網(wǎng)絡(luò)、區(qū)域候選網(wǎng)絡(luò)、感興趣區(qū)域?qū)R網(wǎng)絡(luò)和全連接網(wǎng)絡(luò)的三個分支；所述殘差網(wǎng)絡(luò)用于獲取所述操作熱力圖的特征圖，所述區(qū)域候選網(wǎng)絡(luò)用于根據(jù)所述特征圖生成所述第一區(qū)域的候選區(qū)域；所述感興趣區(qū)域用于針對所述殘差網(wǎng)絡(luò)對所述候選區(qū)域進(jìn)行修正；所述三個分支中包括輪廓分支，用于輸出第一區(qū)域的區(qū)域信息，所述第一區(qū)域包括對所述特定操作觸發(fā)控件誤操作的區(qū)域；

所述殘差網(wǎng)絡(luò)的輸出分別連接區(qū)域候選網(wǎng)絡(luò)和感興趣區(qū)域?qū)R網(wǎng)絡(luò)，所述區(qū)域候選網(wǎng)絡(luò)的輸出連接感興趣區(qū)域?qū)R網(wǎng)絡(luò)，所述感興趣區(qū)域?qū)R網(wǎng)絡(luò)的輸出分別連接到所述三個分支。