[發(fā)明專利]屏幕內(nèi)容識別方法及相關(guān)產(chǎn)品

在審

• 申請?zhí)枺?/td>: 202211703370.2
• 申請日: 2022-12-29
• 公開（公告）號: CN116189164A
• 公開（公告）日: 2023-05-30
• 發(fā)明（設(shè)計）人: 趙秀毓;洪曉勤
• 申請（專利權(quán)）人: 中國建設(shè)銀行股份有限公司
• 主分類號: G06V20/62
• 分類號: G06V20/62;G06V30/14;G06V30/146;G06V30/26;G06T7/80
• 代理公司: 廣州三環(huán)專利商標代理有限公司 44202
• 代理人: 肖騰蛟

1.一種屏幕內(nèi)容識別方法，其特征在于，所述方法包括：

確定光心坐標；

通過標定攝像機對主機屏幕進行定位和校正，以確定所述主機屏幕的屏幕顯示區(qū)域的4個頂點中的每一頂點在所述標定攝像機的攝像機傳感器的像素坐標，得到4個第一像素坐標；

對所述4個第一像素坐標進行校正，得到4個第二像素坐標；

獲取所述主機屏幕的屏幕顯示內(nèi)容，對所述屏幕顯示內(nèi)容進行識別，得到第一識別結(jié)果；

根據(jù)所述光心坐標、所述4個第二像素坐標對所述第一識別結(jié)果進行校正，得到第二識別結(jié)果。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述通過標定攝像機對主機屏幕進行定位和校正，以確定所述主機屏幕的屏幕顯示區(qū)域的4個頂點中的每一頂點在所述標定攝像機的攝像機傳感器的像素坐標，得到4個第一像素坐標，包括：

在所述主機屏幕的屏幕顯示區(qū)域的4個角點粘貼標記點，將標定好的所述標定攝像機固定位置，使所述標定攝像機光心軸線盡量正對所述主機屏幕的屏幕中心且垂直于屏幕所在平面，使得屏幕完全在攝像機視野中，再對所述粘貼標記點的屏幕進行拍攝得到待校正圖片；

確定所述待校正圖片在在水平和豎直兩個方向的梯度，得到第一梯度和第二梯度；

確定高斯核函數(shù)；

根據(jù)所述第一梯度、所述第二梯度和所述高斯核函數(shù)構(gòu)造對稱矩陣；

確定所述對稱矩陣的響應(yīng)函數(shù)；

根據(jù)所述響應(yīng)函數(shù)確定所述4個第一像素坐標。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述響應(yīng)函數(shù)確定所述4個第一像素坐標，包括：

根據(jù)所述響應(yīng)函數(shù)確定4個初始像素坐標；

對所述4個初始像素坐標進行局部極大值抑制，得到所述4個第一像素坐標。

4.根據(jù)權(quán)利要求1-3任一項所述的方法，其特征在于，所述對所述4個第一像素坐標進行校正，得到4個第二像素坐標，包括：

將所述4個第一像素坐標中的至少一個第一像素坐標作為基準點；

根據(jù)所述光心坐標對所述基準點進行校正，得到所述4個第二像素坐標。

5.根據(jù)權(quán)利要求1-3任一項所述的方法，其特征在于，所述根據(jù)所述光心坐標、所述4個第二像素坐標對所述第一識別結(jié)果進行校正，得到第二識別結(jié)果，包括：

按照如下公式，根據(jù)所述光心坐標、所述4個第二像素坐標對所述第一識別結(jié)果進行校正，得到所述第二識別結(jié)果，具體如下:

其中，光心坐標(u₀,v₀)，w為屏幕水平分辨率，h為屏幕垂直分辨率，(x_lu，y_lu)為所述第一識別結(jié)果的任一坐標點，(x_p，y_p)為所述第二識別結(jié)果中與第一識別結(jié)果的任一坐標點對應(yīng)的校正后的坐標點。

6.一種屏幕內(nèi)容識別裝置，其特征在于，所述裝置包括：確定單元、標定單元、第一校正單元、識別單元和第二校正單元，其中，

所述確定單元，用于確定光心坐標；

所述標定單元，用于通過標定攝像機對主機屏幕進行定位和校正，以確定所述主機屏幕的屏幕顯示區(qū)域的4個頂點中的每一頂點在所述標定攝像機的攝像機傳感器的像素坐標，得到4個第一像素坐標；

所述第一校正單元，用于對所述4個第一像素坐標進行校正，得到4個第二像素坐標；

所述識別單元，用于獲取所述主機屏幕的屏幕顯示內(nèi)容，對所述屏幕顯示內(nèi)容進行識別，得到第一識別結(jié)果；

所述第二校正單元，用于根據(jù)所述光心坐標、所述4個第二像素坐標對所述第一識別結(jié)果進行校正，得到第二識別結(jié)果。