[發明專利]屏幕內容分析方法、裝置、計算設備及存儲介質

有效

• 申請號: 201711423613.6
• 申請日: 2017-12-25
• 公開（公告）號: CN108229481B
• 公開（公告）日: 2020-09-11
• 發明（設計）人: 陳若鵬;徐志成;楊希
• 申請（專利權）人: 中國移動通信集團江蘇有限公司;中國移動通信集團公司
• 主分類號: G06K9/34
• 分類號: G06K9/34;G06K9/46;G06F40/126
• 代理公司: 北京東方億思知識產權代理有限責任公司 11258
• 代理人: 賀琳

1.一種屏幕內容分析方法，其特征在于，所述方法包括：

基于應用圖像模型庫，識別屏幕圖像中的活動窗口區域及其對應的應用；

基于所述應用的應用圖像模型，將所述活動窗口區域劃分為一個或多個文本區和非文本區；

識別所述文本區中的文字，得到字符串文本；

提取屏幕錄像中的非重復幀，所述屏幕圖像是所述非重復幀的屏幕圖像；

其中，所述提取屏幕錄像中的非重復幀的步驟包括：

從當前非重復幀開始，以設定的初始抽樣間隔，進行循環抽樣，直到相鄰兩次抽樣的幀的幀序號小于或等于預定閾值，以所述相鄰兩次抽樣中前向抽樣得到的幀作為下一個非重復幀，

所述循環抽樣包括：

響應于在前向抽樣中查找到與當前非重復幀不相似的幀，將抽樣間隔減半，并執行后向抽樣；

響應于在后向抽樣中查找到與當前非重復幀相似的幀，將抽樣間隔減半，并執行前向抽樣。

2.根據權利要求1所述的方法，其特征在于，所述基于應用的應用圖像模型將所述活動窗口區域劃分為一個或多個文本區和非文本區的步驟包括：

在所述應用的窗口界面模式已知的情況下，基于所述應用的窗口界面模式將所述活動窗口區域劃分為一個或多個文本區和非文本區；以及/或者

在所述應用的窗口界面模式未知的情況下，基于文本和圖片的固有特征將所述活動窗口區域劃分為一個或多個文本區和非文本區，并且根據劃分結果更新所述應用圖像模型中記載的窗口界面模式。

3.根據權利要求1所述的方法，其特征在于，所述方法還包括：

確定與所述應用對應的業務場景；

根據所述業務場景對所識別的文本進行處理。

4.根據權利要求3所述的方法，其特征在于，所述根據所述業務場景對所識別的文本進行處理的步驟包括：

根據所述業務場景將所識別的文本分類為一個或多個部分。

5.根據權利要求1所述的方法，其特征在于，所述識別所述文本區中的文字得到字符串文本的步驟包括：

對所述文本區進行行切分，得到文本行圖像；

基于分隔符進行詞切分，得到單詞或短語圖像；

基于語法和經驗模型進行字符切分，得到字符圖像；

計算所述字符圖像的特征向量；

基于所述特征向量識別所述字符圖像對應的字符或字。

6.根據權利要求5所述的方法，其特征在于，所述識別所述文本區中的文字得到字符串文本的步驟還包括：

結合詞切分和行切分的結果，對所述字符或字進行組合得到所述字符串文本。

7.根據權利要求1所述的方法，其特征在于，所述方法還包括：

基于預設的一種或多種語言識別所述文本區中的文字。

8.根據權利要求1所述的方法，其特征在于，所述方法還包括：

在數據庫表中記錄屏幕圖像所對應的幀序號和在所述屏幕圖像中識別的字符串文本。

9.一種屏幕內容分析裝置，其特征在于，所述裝置包括：

識別模塊，用于基于應用圖像模型庫，識別屏幕圖像中的活動窗口區域及其對應的應用；

區域劃分模塊，用于基于所述應用的應用圖像模型，將所述識別模塊識別的所述活動窗口區域劃分為一個或多個文本區和非文本區；以及

文字識別模塊，用于識別所述劃分模塊劃分的所述文本區中的文字，得到字符串文本；

提取模塊，用于提取屏幕錄像中的非重復幀，以使識別模塊識別的屏幕圖像是非重復幀的屏幕圖像；

提取模塊包括抽樣單元，抽樣單元用于從當前非重復幀開始，以設定的初始抽樣間隔，進行循環抽樣，直到相鄰兩次抽樣的幀的幀序號小于或等于預定閾值，以相鄰兩次抽樣中前向抽樣得到的幀作為下一個非重復幀，其中，循環抽樣包括：響應于在前向抽樣中查找到與當前非重復幀不相似的幀，將抽樣間隔減半，并執行后向抽樣；響應于在后向抽樣中查找到與當前非重復幀相似的幀，將抽樣間隔減半，并執行前向抽樣。